苟晞，字道将，河内山阳人，年轻的时候担任过司隶部从事，校尉石鉴十分器重他。东海王司马越担任侍中，引荐为通事令史，连续升迁到阳平太守，齐王司马同辅政的时候，荀晞在司马同幕中担任参军，官拜尚书右丞，转尚书左丞，都察查访各有关部门的工作情况，尚书省的高级官员以下对他都感到害怕，等到司马同被诛杀，苟晞也获罪免，长沙王司马又担任骠骑将军，任命苟晞为从事中郎。晋惠帝亲自领兵征讨成都王司马颖，任命苟晞为北军中候等到惠帝返回洛阳，逃奔到范阳王司马那里，司马同以皇帝的名义任用苟晞为代理兖州刺史汲桑攻破邺城的时候，东海王司马越出驻在官渡以征讨汲桑，任命苟晞为先锋，汲桑素来害怕荀晞，在邺城外边立起栅栏以作守卫。
苟晞将要到达邺城，暂时驻兵不前，先派一个使者到汲桑那里告诉他应该及早投降避祸得福。汲桑的部下大为震动，放弃栅栏，环城固守。苟晞攻克了汲桑的九个堡垒，就平定邺城然后返回，再往西讨伐吕朗等人，消灭了他们。以后又随同高密王司马泰征讨青州贼寇刘根，攻破汲桑原来的部下将领公师藩，在河北打败了石勒，威名大振，当时有人把他比为古代名将韩信、白起。进升为抚军将军、假节、都督青诸军事，封东平侯，采邑一万户苟晞熟悉公事，公文簿册堆积几案，但是很快就能做出判断决定，别人都不敢欺骗他。他的婶母依靠他过活，苟晞对她的奉养非常丰富优厚。婶母的儿子请求做将领，苟晞拒绝说:“我从不违背王法宽恕别人，你不会后悔吗？”
这位堂弟坚决要求，苟晞就任命他为督护。后来犯法，苟晞执持符节把他斩首，婶母叩头请他饶恕，坚决不同意，斩首以后苟晞穿上白色丧服去哭丧，流着眼泪说:“杀你的是我这个兖州刺史，哭弟弟的是我这个兄长苟道将。”他执法严明就像这样苟晞见到朝廷中的政事一天比一天乱，害怕祸患会到自己身上，因而广泛结交，每次得到珍贵的物品，就送给京城里的皇帝贵族。兖州离都城洛阳五百里，食品一类东西送到恐怕不能保持鲜美，于是就四处购求到一头日行千里的牛，每次派遣信使，早晨出发晚上就回来以前，东海王司马越因为苟晞为自己报仇雪耻，非常感激他把他拉到堂上，结为兄弟。
司马越府中的司马潘滔等劝告说:“兖州地处要冲，魏武帝曹操据有此地辅助汉室。苟晞胸有大志，不是一个忠诚笃实之臣，长久地让他处在刺史的位子上，那就是祸患生于心腹之中了，如果把他迁到青州当刺史，多给他加一点虚衔封号苟晞一定高兴。您亲自统治兖州，安排中原各地的事条，作为本朝的屏藩护卫，这就是计划在事情发生以前，下手在动乱发生以前。”司马越认为说得对，就改授苟晞征东大将军、开府仪同三司，加授侍中、假节、都督青州诸军事，兼任青州刺史，进封郡公。苟晞于是大量设置属官，撤换郡守县令，用严酷苛刻来立功，每天都要杀人，流血成河，人们无法忍受，把他叫做“屠伯”顿丘太守魏植被流亡的百姓所逼迫，部下共有五六万人，大肆抢掠兖州。
荀晞出兵驻电在无盐，让他的兄弟苟纯管理青州。苟纯用刑和杀人比苟晞还要厉害，百姓中流传着这样的话:“小苟的酷比大苟还厉害。”苟晞不久就攻破了魏植。当时潘滔和尚书刘望等人一起诬陷苟晞，苟晞发怒，上表要潘滔等人的脑袋，又请求司马越府中的从事中郎刘洽担任军司，司马越都不允许。苟晞因此而公然声称说:“司马元超（越）做宰相处理事情不公平，使得天下混乱不堪，我苟晞难道能让他继续多行不义？韩信不忍心于穿衣吃饭的小恩小惠，结果死在女人手里。现在我将要诛国贼，尊崇王室，齐桓公、晋文公的事业难道是遥远不可企及的吗？”
于是发布公文传告各州，公文上夸耀自己的功劳，列举司马越的罪状当时晋怀帝讨厌痛恨司马越大权独揽，于是就下诏书给苟暗说:“朕由于缺少德行，屡次发生战乱，上面害怕连累祖宗庙宇，下面怜整百姓的困苦，这就需要依镇守四方的大臣，作为国家的屏藩干，您威名大振，诛灭斩杀了公师藩、汲桑，击败降服了刘齐吕朗，魏植这帮人又被您消灭，这难道不是高远的识见明察的决断，朕因此而寄以重任期以成功。又加上王弥、石勒这些反贼胡人又为国家的优患，所以才诏命您统率六州兵马，但是您在小节上谦逊退让，稽迟违背了重要的命令，这就不是所谓与国家同忧共患了。
现在再次派人送上诏书，您接到以后就可以在六州传布文，协力同心办好大事，灭消除国家的祸患，以符合朕的心意。”苟晞又分送撒文给所辖驻军、州郡说:“国运艰危险恶，祸难四起横流匈奴刘渊在汾阴造反，族石勒在魏地作乱，逐渐吞食京最地区攻破践踏邺都，在近郊构筑营垒，屡次震动兖州、豫州，杀害了三位刺史，两位都督，郡守和其他地方长官有好几十位，百姓流离失所死亡的样子惨不忍睹。
苟晞我以虚名属才，担负起国家的重任，因此在海滨驻扎，在曹、卫地区击鼓进军，承蒙皇上诏命，委托给我以潼关以东地区的重任，督率统领各路兵马，只能恭敬地接受皇上的命令。限定在本月二日，正当往西渡黄河到达黎阳，就在这一天得到荥阳太守丁嶷的报告，李恽、陈午等救援怀县的各路人马和羯人大战，都被他们攻破逃散，怀县县城已经陷落，河内太守裴整被敌军擒获。