以前的处罚不能退，还得缴纳。依据是

2015年12月27日，第十二届全国人民代表大会常务委员会第十八次会议审议通过了《关于修订（中华人民共和国人口与计划生育法）》，决定将第十八条第一款分为两款，作为第一款，第二款，第一款修改为：“国家提倡一对夫妻生育两个子女；符合法律，法规规定条件的，可以要求再生育子女。”自2016年1月1日起执行。