根據《城市規劃法》的規定，違章建筑的認定，是城市規劃行政主管部門的職權范圍，判斷某一建筑是否屬于違章建筑，必須由房屋所在地的城市規劃行政主管部門出具證明。而拆遷人或者房屋拆遷主管部門都沒有認定的權利。那么具體是哪個部門可以認定違建呢？

一、縣級以上政府城鄉規劃部門

根據《城鄉規劃法》第六十四條“未取得建設工程規劃許可證或者未按照建設工程規劃許可證的規定進行建設的，由縣級以上地方人民政府城鄉規劃主管部門責令停止建設;尚可采取改正措施消除對規劃實施的影響的，限期改正，處建設工程造價百分之五以上百分之十以下的罰款;無法采取改正措施消除影響的，限期拆除，不能拆除的，沒收實物或者違法收入，可以并處建設工程造價百分之十以下的罰款”的規定，縣級以上人民政府城鄉規劃主管對于城市規劃區內的“違建”是可以認定的。

二、鄉、鎮政府

根據《城鄉規劃法》第六十五條 “在鄉、村莊規劃區內未依法取得鄉村建設規劃許可證或者未按照鄉村建設規劃許可證的規定進行建設的，由鄉、鎮人民政府責令停止建設、限期改正;逾期不改正的，可以拆除”的規定，在鄉、村莊規劃區內的“違建”由鄉、鎮政府認定。

三、城市管理綜合行政執法機關

《行政處罰法》第十六條規定：“國務院或者經國務院授權的省、自治區、直轄市人民政府可以決定一個行政機關行使有關行政機關的行政處罰權，但限制人身自由的行政處罰權只能由公安機關行使。”

實踐中，城市管理綜合行政執法機關因為這一條規定，有權認定違建。

四、縣級以上人民政府土地行政主管部門

《土地管理法》第七十六條規定：“未經批準或者采取欺騙手段騙取批準，非法占用土地的，由縣級以上人民政府土地行政主管部門責令退還非法占用的土地，對違反土地利用總體規劃擅自將農用地改為建設用地的，限期拆除在非法占用的土地上新建的建筑物和其他設施，恢復土地原狀，對符合土地利用總體規劃的，沒收在非法占用的土地上新建的建筑物和其他設施，可以并處罰款;對非法占用土地單位的直接負責的主管人員和其他直接責任人員，依法給予行政處分;構成犯罪的，依法追究刑事責任。

超過批準的數量占用土地，多占的土地以非法占用土地論處。”

《土地管理法》第七十七條規定：“農村村民未經批準或者采取欺騙手段騙取批準，非法占用土地建住宅的，由縣級以上人民政府土地行政主管部門責令退還非法占用的土地，限期拆除在非法占用的土地上新建的房屋。”

《土地管理法》第七十三條規定：“買賣或者以其他形式非法轉讓土地的，由縣級以上人民政府土地行政主管部門沒收違法所得;對違反土地利用總體規劃擅自將農用地改為建設用地的，限期拆除在非法轉讓的土地上新建的建筑物和其他設施，恢復土地原狀，對符合土地利用總體規劃的，沒收在非法轉讓的土地上新建的建筑物和其他設施;可以并處罰款;對直接負責的主管人員和其他直接責任人員，依法給予行政處分;構成犯罪的，依法追究刑事責任。”