劳动能力鉴定并不一定需要到单位调查。根据具体情况，劳动能力鉴定可以由受鉴定人自主申请，也可以由用人单位、社会保险机构或者社会医疗机构等专业机构进行。在申请鉴定时，需要提交相关的个人身份证明、病历、诊断证明等材料，并进行相关的医学检查。因此，劳动能力鉴定并不一定需要到单位进行调查。