菏澤歷史悠久，是中華民族的發祥地之一。據史書記載，早在四千年以前的新石器時代，我們的祖先就在這裡繁衍生息，漁獵耕種，創造著古代人類文明。至今，菏澤大地仍保留著許多原始社會的歷史遺蹟，比較著名的有牡丹區安邱堌堆、曹縣安陵堌堆、鄆城縣肖堌堆、東明縣竇堌堆、定陶縣官堌堆、鄄城縣歷山堌堆等等。
夏代，分屬於兗、徐、豫三州。商代，境內中部有三鬷國，定陶與曹縣之間有莘國，鄄城與鄆城之間有顧國、黎國。西周，今境中部屬曹國，東部屬魯國和茅國，西北部屬衛國，南部屬宋國，東南部有郜國，東北部有須句國，西南有貫國。春秋、戰國時期，境內分屬宋、魯、衛國。秦，境內中部、北部屬東郡，南部和東部屬碭郡。漢，境內分屬東郡、山陽郡、濟陰郡及豫州之梁國。三國時期，境內屬曹魏的兗州。西晉時，境域分屬兗州濟陰郡、濮陽國、高平國、東平國、陳留國和豫州梁國。東晉十六國時期，境域先為後趙、前燕、前秦、後燕等國據有，後屬東晉之濟陰、濮陽、高平、北濟陰郡。
南北朝初期，境內東部屬劉宋，西部屬北魏。公元 527年(北魏孝明帝孝昌三年)，置西兗州，濟陰郡改屬西兗州，州、郡同治定陶。不久，州郡同遷左城(今定陶縣西力本屯一帶)。公元534年(天平元年)，北魏分為東、西魏，境內屬東魏西兗州的濟陰郡、濮陽郡。公元578年(北周武帝宣政元年)，北周滅北齊，改西兗州為曹州，仍治左城，是為曹州得名之始。隋，境內中部屬曹州，北部屬濮州，東北部屬鄆州，東南部屬戴州，南部屬宋州。唐代，境內屬河南道。五代十國時期，境域分屬曹州、濮州、鄆州、宋州、單州。北宋，境內初屬京東路。元代屬中書省。明代，境內大部屬山東承宣布政使司所轄的兗州府，西部和北部各有一部分，個別屬京師大名府和山東布政使司所轄的東昌府。1368年(明洪武元年)，因水患將曹州遷徙安陵鎮(今牡丹區大黃集鎮安陵集)，次年又遷至盤石鎮(今曹縣城)。1371年(洪武四年)降曹州為曹縣。1445年(明正統十年)，復置曹州，領兩縣。1724年(清雍正二年)曹州升為直隸州。1735年(清雍正十三年)，曹州升為府，轄1州10縣(濮州、菏澤縣、曹縣、定陶縣、成武縣、單縣、鉅野縣、鄆城縣、範縣、觀城縣、朝城縣)。此時轄區面積略大於今菏澤市。
中華民國初期，境內除東明縣屬直隸省外，其他全屬山東省。 1914年(民國三年)省、縣之間增設道，境內大多數縣屬濟寧道。1925年10月22日，山東省將原4道增為11道，境內大部分縣屬曹濮道，東明縣屬直隸省大名道。1928年廢道制，東明縣屬直屬河北省，其餘縣直屬山東省。1932年南京國民政府規定省下設行政督察區，於菏澤設立山東省第二行政督察區，除東明縣屬河北省第十七行政督察區外，其餘各縣皆屬之。1938年夏至1945年8月，中國共產黨在境內建立了冀魯豫第八、第十、第十一3個專區。解放戰爭時期，第八專區改為第二專區，第十專區改為第五專區，第十一專區改為第三專區，新建了冀魯豫第七專區。
1948年9月，菏澤全境解放。1949年3月，中國共產黨在菏澤建立的冀魯豫第二、三、五、七專區分別更名為臨河、湖西、魯西南、運西專區。同年8月，平原省建立，將臨河、魯西南、運西專區的部分縣合併為菏澤專區，與湖西專區同屬平原省。1952年11月，平原省撤銷，菏澤、湖西專區歸屬山東省。原菏澤專區所轄的東明縣劃歸河南省鄭州專區。1953年8月20日，湖西專區撤銷，單縣、復程、成武、鉅野劃歸菏澤專區，嘉祥、金鄉、魚臺劃歸濟寧專區，同時撤銷南旺縣，析入梁山和嘉祥縣。至1953年底，菏澤專區共轄10縣：菏澤、鄄城、鄆城、梁山、鉅野、成武、定陶、曹縣、單縣、復程，菏澤市的區域基本形成。1956年3月6日撤銷復程縣，析入曹縣和單縣。1958年12月，撤銷定陶縣，析入成武和菏澤縣；同時撤銷菏澤專區，其所轄菏澤、鄄城、鄆城、梁山、鉅野、成武、曹縣、單縣等8縣劃歸濟寧專區。1959年9月，菏澤專區恢復，仍領原8縣。1960年10月，改菏澤縣為菏澤市，同時將濟南市的平陰縣劃歸菏澤專區。1961年3月，平陰縣劃歸泰安專區。10月，恢復定陶縣。1963年3月16日，改菏澤市為菏澤縣。4月，東明縣由河南省開封專區劃歸菏澤專區。同年底，菏澤專區共轄10縣：菏澤、曹縣、定陶、成武、單縣、鉅野、梁山、鄆城、鄄城、東明。1967年3月改菏澤專區為菏澤地區。1983年9月，菏澤縣再次改為菏澤市(縣級)。1989年12月22日，梁山縣劃歸濟寧市。2000年6月10日，經國務院批准，改菏澤地區為菏澤市(地級)，原菏澤市(縣級)更名為牡丹區。2008年12月，全市下轄8縣1區，158處鄉鎮，行政村、居委會6106個，自然村13478個。2018年末，菏澤市轄牡丹區、定陶區、曹縣、成武、單縣、鉅野、鄆城、鄄城、東明2區7縣（4月29日，定陶縣正式撤縣設立定陶區）1個省級經濟技術開發區，1個高新技術開發區，168個鄉、鎮、街道辦事處（鄉 10個，鎮 124個，32個街道辦事處），6019個村（社區）。
