1947年6月，大病初愈的徐向前被中共中央军委重新任命为晋冀鲁豫军区第一副司令员。走马上任就小试牛刀。当时的山西，百废待兴。对徐向前来说，攻取运城固然重要，但土改也是大事一桩。由于徐向前要同薄一波、滕代远一起参加土地改革会议，只能让晋冀鲁豫军区第八纵队司令员王新亭任运城前线指挥部司令员，由西北野战军第二纵队司令员兼政委王震任政治委员，共同指挥两支部队攻城。运城算一个硬骨头。王新亭和王震指挥部队从12月16日打到26日，激战10天竟未能攻克。
部队哪打过如此难打的仗，哪吃过这个亏。不少中、高级指挥员有些心疼部队，对攻城有些犹豫观望了。徐向前知道后打电报给王新亭：下死命令，坚持最后5分钟，一定要拿下运城。坚持最后5分钟终于见效。27日夜，王新亭和王震的部队分别从城北和城西突破，攻入城内，歼灭守敌，艰难地吃掉了第一个硬骨头。运城一役，更使徐向前坚定了对中等城市攻坚的信心。他的目光，又瞄向了晋南孤城临汾。临汾是晋南最大的一座城市，也是历史上著名的军事重镇。临汾城内高外低，城墙坚厚，当地有人讲，临汾城从来没有被攻破过。自运城解放后，晋南的反动乡团、地痞恶霸都缩进临汾躲避，把临汾当作了一个避风港。临汾守敌自恃墙厚壕深，欺我军没有飞机大炮，一时也嚣张无比。
徐向前决计攻取临汾，陕北中央也对此寄予厚望。拔除临汾，山西战场形势将发生重大变化。1948年2月，中共中央军委发布命令，决定组成临汾前线指挥部，由徐向前往总指挥。中央的命令正合徐向前的心意，他早已有心要制服临汾这头卧牛。徐向前毕竟是我军有数的几位著名战将之一，他对啃硬骨头似乎更有办法。当时，双方的兵力对比和地势差别注定了临汾之战将是一场持久而残酷的啃硬骨头式的城市攻坚战。临汾守敌有阎锡山的第六十六师主力、胡宗南的第三十旅主力及8个地方保安团，共2.5万人。而徐向前统一指挥第八、第十三纵队及太岳军区、晋绥的吕梁军区各一部共5.3万人，兵力虽占优势，但除八纵二十三旅是参加过上党、平汉战役的老部队外，其余部队很少有攻坚战的经验，甚至其中的15个团是刚由地方部队升级上来的，装备差，无炮，总体上我军并不占优。
3月8日，临汾战役提前拉开了战幕。徐向前原先并未准备仓促攻击。但3月7日中央军委通报，胡宗南马上就要空运在临汾的三十旅回西安。为了阻敌西运，配合西北战场，徐向前决定提前发起临汾战役。八纵二十四旅连夜出发，在旅长王塘带领下，一昼夜强行军120里，赶到临汾城南飞机场附近，架起迫击炮，连发9弹，击中敌机2架。其余8架敌机来不及运兵，仓皇飞逃。胡军晕头转向，伤亡惨重，逃往城内。紧接着我军各部队从四面八方赶来，包围了临汾。
阻敌西运的战略意图已经实现，下一步就是强攻临汾，最终解除晋南敌情的问题了。但敌军岂肯就此认输？阎锡山给梁培璜下了死守的命令，要他城存成功，城亡成仁。梁培璜也表示要下定决心与临汾共存亡。他给部队下了八杀的命令；如凡奉命进攻，迟延不进者杀，未奉命放弃阵地者杀，邻阵地被攻，有力不援者杀，主官阵亡，次官不代行其职务者杀，可谓杀字满天飞，强迫官兵决心死战。战斗稳步有序地发展。我军将临汾包围后，首先扫清外围，打通攻城道路。敌人炮火非常猛烈，我军多次冲锋，都未成功，敌我伤亡很大。旅长王墉也不幸中弹牺牲。
在我军夺得的阵地上，敌六十六师师长徐其昌亲自督战，连续反扑。我军战士抱着流血换来的阵地绝不能让敌人夺回去、能前进一尺，不后退一寸的决心连续打退敌人7次反冲锋。徐其昌盛怒之下，撤了一个团长的职，又连毙数名作战不力的官兵，但其精心组织的反扑也我军顽强的打了回去，不能前进一步。
外围战，也是徐向前施展指挥才华的关键时刻。战役开始后，敌人先把地方武装放在城外固守据点，与我拼杀，又把胡宗南三十旅两个团用来与我死拼，并从西安、太原、天津派来飞机助战，狂轰滥炸，并恶毒地施放毒气，企图消耗我主力于城外，使我丧失攻城能力。徐向前看清了敌人的企图，重新调整了部署，保留若干主力部队准备攻城，使各部队轮番与敌在外围作战，消灭敌人有生力量，控制护城外壕，加紧完成坑道作业，为坑道破城创造条件。而我军主力轮番上阵，轮番休整，不过多消耗。此举大获成功。
战斗进行到4月10日，我全部扫清外围据点，并爆破开东关城墙，两个旅突进东关，基本歼灭了敌六十六师，仅徐其昌等少数人逃往城内。战斗虽有进展，但战斗也是惨烈的。临汾城外围，激烈的枪炮声持续了20多天。我军在这20多天里虽歼敌3000多人，但自身伤亡也不在3000以下，虽扫清了外围，但攻城计划未能实现，部队士气颇受影响。徐向前经过冷静分析，再次横下一条心：不拿下临汾，誓不回兵。