張嘯林早年遊手好閒，打架鬥毆，與流氓為伍，為杭州地痞。後結識上海流氓季雲卿，隨季雲卿赴上海，拜上海青幫大字輩樊瑾丞為"老頭子"。1920年，與黃金榮、杜月笙合股開設三鑫公司，販賣鴉片，逼良為娼，橫行霸道，無惡不作，人稱"三色大亨"。1927年四一二反革命政變時，指使流氓打手冒充工人，襲擊工人糾察隊，大肆屠殺共產黨人和革命群眾。1932年任上海華商紗布交易所監事。
1927年，共產黨在上海發動工人起義，接收上海市。此時蔣介石已決定清黨，派人進城聯繫黃金榮、杜月笙、張嘯林三人，要他們一起攻擊共產黨。4月12日，蔣介石發動清黨，三大亨也在上海組織“中華共進會”，與蔣介石軍隊一起鎮壓上海的共產黨及工人運動領袖。這就是有名的四·一二大屠殺事件。三大亨就此由江湖人士轉正成為政府人士，還被授予國民革命軍總司令部少將參議職銜。不久，他們又參與到銀行等金融產業中，儼然成為金融家加實業家。
1937年，中日全面戰爭爆發。上海淪陷後，蔣介石要求三大亨前去香港，以免被日本人或偽政權所利用。黃金榮覺得自己年紀大了，且從頭到尾都不是什麼政府裡面的人物，所以留在上海也無大礙；杜月笙則聽話去了香港；張嘯林選擇了留下來。因此這時的張嘯林面對三種關係：一個是他與杜月笙這些江湖朋友的關係，一個是他與國民黨政府的關係，第三個就是他與日偽政權的關係。
張嘯林與杜月笙的江湖兄弟關係雖然維持著，但已然有了裂痕。早在1935年，杜月笙參與了政府財政工作，預先得到蔣介石政府將實行法幣政策，於是提前大量拋售舊幣，購入法幣，藉此大賺了一筆。沒有得到消息的張嘯林則在政府推行新幣政策時，平白無故地損失了大筆的錢，在心裡未免怪杜月笙不夠朋友，沒有江湖道義。另外，杜月笙會處世，又是黃金榮的嫡親弟子，其勢力凌駕於張嘯林之上。張嘯林對杜月笙雖然兄弟相稱，但是已經不是那種肝膽相照的朋友，只是從江湖義氣而言的普通朋友，至於再次為杜月笙兩肋插刀，對張嘯林而言已不太可能。
對於自己與蔣介石政府的關係，張嘯林也不能滿意。蔣介石對杜月笙不錯，但當張嘯林的兒子前去拜訪蔣介石時，竟然沒有得到個一官半職，原因是張嘯林的兒子主張民主，要蔣介石放寬對共產黨的壓制，大家一起參與競選。這大大違背了蔣介石的意旨，所以蔣介石很冷淡地對待了張嘯林的兒子。在張嘯林來看，蔣介石未免過於心胸狹隘，所以，他與這個蔣政府關係也不是很好，要他一個江湖人物為這個政府放棄他在上海的事業，他還不願意。
讓張嘯林感到江湖熱義的，還不如說是日偽政府這第三種關係。上海淪陷後，日偽官員一批一批過來拜訪，希望他出面穩住上海局勢，或希望他利用自己的勢力為日軍提供物資補給。張嘯林歷來做事拼死拼命，卻並非為拼那幾個錢，他既放不下上海自己的勢力，放不下替日本提供補給這個發財的機會，他還利慾薰心，希望得到日偽浙江省長這個位置，以光大自己的門楣。
三種關係交錯在一起，使得張嘯林既不接受杜月笙勸他去香港的建議，也不想投向重慶政府，而是留在淪陷的上海，邊走邊看。這樣，國民黨政府“鋤奸”的名單裡，張嘯林榜上有名也就順理成章了。
但從張嘯林自己來講，絕不肯承認自己是漢奸。當時杜月笙雖然去了香港，但其家人依舊住在上海，與張嘯林比鄰而居。一次，杜月笙的孫子對張嘯林的孫子說，外邊人說你爺爺是漢奸。這話傳到張嘯林的耳裡，他暴跳如雷，立刻跑到隔壁杜月笙家裡去評理。不管他自己怎麼認為，在大眾的眼裡，他已經是漢奸的代表了。刺殺也是箭在弦上。
1938年，軍統就已經對上海區下發了針對張嘯林的刺殺令，但卻沒有得到立刻執行。一個是由於張嘯林本人能征善戰，且又是黑幫頭目，敢於虎口拔鬚的人不多。二是由於當時軍統在上海區的特務大多與青幫有或多或少的聯繫，出於江湖道義，他們勢不能出手加害張嘯林。
1939年8月，軍統骨幹陳恭澍上任上海區負責人，得到命令重申要制裁張嘯林。陳恭澍利用自己的老關係找了一些人，但只要一說到張嘯林，就人人迴避，弄得陳恭澍一籌莫展。到1940年8月，重慶方面一再指示要他加緊制裁腳步。
同年8月15日，有著日本軍部背景的《新申報》登出一則新聞：本市聞人張嘯林，昨已被保鏢擊斃——內幕或為渝偽指使。又稱：又據可靠方面消息：張氏於八·一三事變後，即參加和平工作，頗遭渝方之嫉妒，此次林之以下犯上，是否受渝指使，頗屬疑問，當局對之，頗為注意雲。
陳恭澍看到這條消息，大吃一驚。因為身為軍統上海區的負責人，他對這次刺殺張嘯林毫不知情。刺殺發生後他接到上海區“第二行動大隊”的情報，說刺殺張嘯林是由本組織林懷部所執行，他說不出是驚是喜。喜的是張嘯林已被制裁，且第二大隊說是自己人乾的，這樣軍統上海區算是完成了一件大任務；驚的是對這個所謂的林懷部自己竟一無所知，在上海區的人事檔案裡，既沒有他的真名實錄，也沒有類似的化名記錄，這樣一樁功勞莫名其妙地加在了自己身上。按照陳恭澍後來在其回憶錄中的說法，日本投降後關在法租界的林懷部出獄，之後卻不知去向，既沒有出來領功，也沒有出現在軍統的系統裡。因此在回憶錄中陳恭澍否認林懷部系軍統派出的刺客，而懷疑可能是受杜月笙的指使。
陳恭澍寫道：“外間傳言，張案與杜先生有關係，這還要分做兩方面來講：第一，政府下令制裁張嘯林，是杜在背後攻擊他所致，或是說，杜先生在戴先生面前不斷地加以慫恿的結果。第二，張的保鏢打死張嘯林是杜指使他的手下這麼做的。”“對於以上種種說法，固不能盡以‘流言’視之，但是大都出於揣測而已。第一，政府下令制裁張嘯林，自有它的莊嚴性，絕不致受任何人事關係所左右，至於由誰來作最後決定？筆者一再說過，本局沒有決定權。第二點麼，可就複雜得不是三言兩語能夠交代明白的了……外間都知道，抗戰後，杜去港，張留滬，二人之間，已有裂痕。至於他們之間，到底不睦到何種程度，我不清楚。杜先生會不會趁著政府下令制裁張某的機會，而從旁‘予以鼓勵’或‘加以協助’呢？這就很難覓取答案了。在我來說，確是一概不知道。其實，我又何嘗不想知道。一層層、一重重，真有探不盡的秘奧。”
身為當事人的陳恭澍不敢肯定那個自稱為林懷部的刺客是不是杜月笙所派遣，他只是猜測杜月笙是否由於與張嘯林的矛盾而借刀殺人。又或者，由於杜月笙已然接受招安，已經不被重慶政府認為是江湖人物了，而強求他執行了這次制裁張嘯林的行動？從朝廷之“忠”與江湖之“義”的差別來看，杜月笙當時所處的地位，正是不得不做出選擇的時刻。而林懷部若是重慶政府的人，那他一定毫無愧色可以出來接受這個刺殺張嘯林的榮譽；只有當他本來就是“義”系統裡的人，即他是上海幫派中的人物時，他才不得不隱名埋姓，將一樁大義舉拱手讓出。
