忽必烈召见由廉希宪推荐的汉人张雄飞，当议论到任职者多非其材，政事废弛时，张雄飞建策设立御史台为天子耳目。同时，西夏儒者高智耀也向忽必烈建议，仿效前代，置御史台。忽必烈接受他们的建议，于至元五年（公元1268年）七月，初立御史台。以中书省右丞相塔察儿为御史大夫。御史大夫以下，设御史中丞，侍御史，治书侍御史。御史台的长官，照例也是专用蒙古人《元史太平传》载：（至正）六年（公元1346年）拜御史大夫。故事台端非国姓不以授，太平固辞，因特赐姓而改其名。太平非蒙古族，顺帝任命他为御史大夫，还得赐姓而改其名才行，可见非蒙古人不可任其职。御史台设立时，忽必烈诏谕说：台官职在直言，朕或有未当，其极言无隐。御史台不仅纠察百官善恶，也有指陈政治得失的职责。忽必烈敕令中书省、枢密院，凡事要与御史台官员同奏，这与宋制略有不同。御史台建立后不久，曾奏言：数月间追理侵欺粮粟近二十万石。可见，捡括、料理财赋也是御史台的重要责任。御史台之下设殿中司和察院，殿中司由殿中侍御史统领，主管纠察朝廷百官。察院设监察御史若干人，司耳目之寄，任刺举之事。御史台称内台（又称为中台），另设行御史台，置官品秩同于内台，称为外台。至元十四年（公元1277年），始置于扬州，称江南行御史台。二十一年（公元1284年）闰五月迁於杭州，二十二年（公元1285年）二月又徙於江州，同年五月，再徙杭州。二十三年（公元1286年）四月徙建康，二十六年（公元1289年）五月复徙扬州。至元二十七年（公元1290年），置云南诸路行御史台，至此始有二行台。大德元年（公元1297年），移云南行台於京兆，称陕西行台，而云南改立廉访司。元建国初，曾立提刑按察司四道（即山东东西道，河东陕西道，山北东西道，河北河南道），分隶於御史台、行御史台，掌管监督纠劾地方官吏之不法行为，兼劝农事。至元二十八年（公元1291年）二月改称肃政廉访司，后来增至二十二道：内道八，隶御史台江南十道，隶江南行台陕西四道，隶陕西行台。
