行政处罚违法的如何追究责任

行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分:
(一)没有法定的行政处罚依据的;
(二)擅自改变行政处罚种类、幅度的;
(三)违反法定的行政处罚程序的;
(四)违反《行政处罚法》第十八条关于委托处罚的规定的。