違建到底由哪個政府部門進行認定，法律法規并未明確。在實踐中不同地區認定的主體五花八門，有國土、建設、城管、公安、鄉鎮政府，甚至財政局、拆遷部門對當地房屋認定為違章建筑進行處罰。在一些地區還出現過多頭認定的問題。直接把老百姓搞蒙圈了，到底應該聽誰的？

縣級以上人民政府建設行政主管部門——住房和城鄉建設局(委)

住房和城鄉建設局對未依法辦理施工許可手續進行建設的違法行為，有權按照《建筑法》第六十四條之規定，作出責令改正、停止施工及罰款等處罰決定。

縣級以上地方人民政府城鄉規劃主管部門——城鄉規劃局

城鄉規劃局有權對城市規劃區內違反規劃建設行為和非法臨時建設(建筑)進行查處。根據《城鄉規劃法》第六十四條和第六十六條規定，對在城市規劃區內未取得建設工程規劃許可證或者未按照建設工程規劃許可證的規定進行建設以及非法臨時建設(建筑)，可以結合具體情形作出責令停止建設、限期改正、罰款、限期拆除及沒收實物或者違法收入等行政處罰。

縣級以上地方人民政府土地行政主管部門——國土資源管理局

國土資源管理局有權對違法占地建設行為享有查處權。存在《土地管理法》第七十四條、第七十六條和第七十七條規定的違法占地建設情形之一的，國土局可依法作出處罰決定，責令限期改正、治理、停止施工或責令限期拆除在非法占用的土地上新建的建筑物和其他設施。

鄉、鎮人民政府

按照《城鄉規劃法》第六十五條規定，在鄉、村莊規劃區內未依法取得鄉村建設規劃許可證或者未按照鄉村建設規劃許可證的規定進行建設的，由鄉、鎮人民政府責令停止建設、限期改正;逾期不改正的，可以拆除。但拆遷律師提醒，拆除也要走法律程序，不能說拆就給拆了。

城市管理綜合行政執法機關

《行政處罰法》第十六條規定：國務院或者經國務院授權的省、自治區、直轄市人民政府可以決定一個行政機關行使有關行政機關的行政處罰權。第十七條　法律、法規授權的具有管理公共事務職能的組織可以在法定授權范圍內實施行政處罰。依據以上法律和地方性法規，城市管理部門對于違法建筑的處罰權是來源于其合法的行政職能范圍和上級地方性法規的決定。