被派遣勞動者有勞動合同解除權，勞動者可以依勞動合同法的規定與勞務派遣單位協商解除勞動合同，或者由于派遣單位、用工單位有違法行為的，可以隨時通知解除勞動合同。 

   根據《勞動合同法》第三十六條的規定，用人單位與勞動者協商一致，可以解除勞動合同。

   第三十八條規定：有下列情形之一的，勞動者可以隨時通知用人單位解除勞動合同：（一）用人單位未按照勞動合同約定提供勞動保護和勞動條件的；（二）用人單位未及時足額支付勞動報酬的；（三）用人單位未依法為勞動者繳納社會保險費的；（四）用人單位的規章制度違反法律、法規的規定，損害勞動者權益的；（五）用人單位因本法第二十六條規定的情形致使勞動合同無效的；（六）法律、行政法規規定的其他情形。用人單位以暴力、威脅或者非法限制人身自由的手段強迫勞動者勞動的，或者用人單位違章指揮、強令冒險作業危及勞動者人身安全的，勞動者可以立即解除勞動合同，無需事先告知用人單位。此條第二條款規定了用工單位可以退回被派遣勞動者及派遣單位解除勞動合同的情形。用工單位與被派遣勞動者之間構成的是勞務關系，而非勞動合同關系。

   依照第三十九條的規定：勞動者有下列情形之一的，用人單位可以解除勞動合同：（一）在試用期內被證明不符合錄用條件的；（二）嚴重違反用人單位的規章制度的；（三）嚴重失職，營私舞弊，給用人單位的利益造成重大損害的；（四）勞動者同時與其他用人單位建立勞動關系，對完成本單位的工作任務造成嚴重影響，或者經用人單位提出，拒不改正的；（五）因本法第二十六條第一項規定的情形致使勞動合同無效的；（六）被依法追究刑事責任的。

   可見，用工單位退回被派遣勞動者只能是因為勞動者不符合錄用條件或嚴重違紀違法，這樣勞務派遣單位就可以依照勞動合同法的規定解除勞動合同。勞動合同法將派遣關系中三方關系的解除情形納入規定之中，有利于解除情形的法定化、規范化，有利于關系的理清及爭議的處理，有利于構建、發展和諧、穩定的勞動關系，保護用人單位和勞動者的合法勞動權益。