违章建筑是由哪个部门来认定

违章建筑应该由县级以上地方人民政府城乡规划部门认定。违章建筑审查的两个考量标准：是否依法申办了申办建筑用地规划许可、建设工程许可手续以及否违反城乡整体规划。
【法律依据】
《土地管理法》第78条，农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。超过省、自治区、直辖市规定的标准，多占的土地以非法占用土地论处。