違章建築是由哪個部門來認定

違章建築應該由縣級以上地方人民政府城鄉規劃部門認定。違章建築審查的兩個考量標準：是否依法申辦了申辦建築用地規劃許可、建設工程許可手續以及否違反城鄉整體規劃。
【法律依據】
《土地管理法》第78條，農村村民未經批准或者採取欺騙手段騙取批准，非法佔用土地建住宅的，由縣級以上人民政府農業農村主管部門責令退還非法佔用的土地，限期拆除在非法佔用的土地上新建的房屋。超過省、自治區、直轄市規定的標準，多佔的土地以非法佔用土地論處。