元代运河开通后,在 济宁 设有开浚大臣,还设置了都水监(从三品),行都水监和总治河防续,官阶最高的为总正一品。明代在 济宁 设总理河道、总督河道、经理河漕、总漕兼河道、巡抚兼河道等,简称总河,均由朝廷钦命署理,为运河最高行政管理机构,是朝廷六大部外增设的一个部院级的朝廷直属机构。秩正二品,但不乏正一品,从一品大员充任。
明朝罢海运,运河成为全国唯一的水上运输命脉。永乐九年(1411年),工部尚书宋礼首任总理河道,驻节 济宁 ,建立了总督河道都御史衙门,府衙设在 济宁 城内(今古槐街路西、院口街北)。永乐十五年(1417年)设置了运河总兵官,总管运河航道和漕运。 景泰 二年(1451年),又设置了漕运总督,住 淮安 ,于运粮总兵官共同管理漕务。成化七年(1471年)后,河、漕分工,总河管航道,总漕管漕政。弘治年间两机构时分时合。成化八年(1472年)设衙史一员,管理 济宁 至 南京 航道。隆庆三年(1567年)始设巡漕衙史。总河以下实行分段分级管理。万历三年(1567年)钦定道一级机构,秩四品,为总河下属常设机构, 济宁 设两个道,道下设司,即布政司、按察司,有二司衙4个(现 济宁 察院街可寻)。在南旺、夏镇、 济宁 还设河道同知衙门,即运河厅,河道同知为 山东 运河道分署机构。同时在 济宁 还设专管河泉同知、通判,闸坝官及管河指挥等。
清朝派驻 济宁 的司运机构大多沿袭了明朝制。设总河部院,钦命署理,秩正二品。顺治初年,仅设有河道总督一人,又称总河,综理黄河、运河两河事务,驻 济宁 州。雍正八年(1730年)总河一分为三: 江南 河总督驻 淮安 ,称南河; 河南 、 山东 河道总督驻 济宁 州,称 东河 ;直隶河道总督驻 天津 ,称北河。这样的建制一直延续到清光绪年间罢河停运。