葉劍英從雲南陸軍講武堂畢業以後，到福建漳州投奔了孫中山領導的革命軍隊——援閩粵軍，這支軍隊成立於1917年底。當時，孫中山在廣州受軍閥排擠，深感需要建立一支自己掌握的軍隊。他利用軍閥之間互相爭鬥的機會，把廣東省省長公署的二十個營的警衛軍掌握到手，以其為基礎建立起援閩粵軍，並以護法愛國的名義將這支軍隊開入閩南，隊伍很快由八千人發展到兩萬多人。
1920年秋，援閩粵軍根據孫中山的指令，打回廣東。驅逐了盤踞廣東的桂系軍閥。孫中山從上海回到廣州，於1920年11月29日重新組織軍政府，宣佈繼續“護法”。1921年4月7日，中華民國政府在廣州成立，孫中山被選為非常大總統。這期間，葉劍英接受軍政府副官長吳鐵城的邀請，參加副官處的工作。不久，由吳鐵城介紹，參加了孫中山領導的國民黨。在孫中山任中華民國非常大總統的就職儀式上，葉劍英第一次見到了仰慕已久的孫中山。他聆聽了孫中山的就職演說，受到極大的鼓舞。
1921年10月15日，孫中山率北伐軍三萬餘人，到達廣西桂林，準備取道湖南北伐。他將大本營設在桂林，並在這裡開展了教育改造舊軍隊的整軍工作。由於吳鐵城的介紹，葉劍英以大總統隨員身份，隨孫中山到了桂林。在孫中山整軍的過程中，他被分配到軍官教導團任連副，參加整軍工作。孫中山改造舊軍隊建立新軍隊的思想，給葉劍英留下了深刻的印象。
1922年2月3日，孫中山頒佈動員令，命令各軍出師北伐。可是，受孫中山委託留守廣東的陳炯明，野心更加膨脹。他不但與湖南軍閥趙恆惕結成反對孫中山的聯盟，阻撓北伐軍通過湖南，而且對孫中山委託的留守後方接濟北伐軍的任務陽奉陰違，竟停止供給北伐軍糧餉、彈藥，還派人刺殺積極接濟北伐軍的粵軍參謀長兼第一師師長鄧鏗。
面對這種情況，孫中山決定暫回廣州坐鎮，以穩定後方。這期間，孫中山組建了海軍陸戰隊，歸新任江防艦隊司令陳策指揮。葉劍英被任命為海軍陸戰隊營長。
孫中山回鎮廣州後，做賊心虛的陳炯明立即避走惠州老巢，並與其部下葉舉加緊策劃叛變孫中山的陰謀。1922年6月16日凌晨3時許，陳炯明發動了武裝叛亂。叛軍四千人圍攻廣州總統府，炮轟孫中山的越秀樓住所，總統府頓時成了一片火海。葉劍英和海軍陸戰隊官兵對陳炯明的叛逆罪行義憤填膺，立即投入了保衛孫中山的戰鬥。他們從心底裡發出誓言:“誓死保衛孫中山!”“堅決與叛軍血戰到底!”
經過激烈的戰鬥，孫中山和夫人宋慶齡在衛隊的保護下，先後脫險到達駐廣州長堤的江防司令部。葉劍英在陳策指揮下，率領全營官兵護衛孫中山登上“寶璧”號軍艦避難。後來，孫中山改乘“永豐”號軍艦，前往黃埔，葉劍英繼續率部護送。6月16日晚，孫中山在軍艦上召開軍事會議，決定令北伐軍迅速回師戡亂，號召全軍討伐陳炯明。為配合北伐軍回師，他還決定第二天親率艦隊沿珠江向廣州市區挺進，狠狠打擊叛軍。
6月17日下午，孫中山率“永豐”號等五艘軍艦，排成一字形，由黃埔港出發，劈風斬浪，向廣州市區附近的白鵝潭挺進。葉劍英率領本部官兵，登上第3艘軍艦“寶璧”號，緊隨著孫中山的座艦前進。一路上，艦隊用猛烈的炮火，不斷向兩岸叛軍佔領的陣地轟擊，給叛軍以很大殺傷。
當艦隊挺進到白鵝潭附近時，突然，兩岸炮聲齊鳴，一顆顆炮彈呼嘯著向艦隊飛來。頃刻間，軍艦周圍掀起了沖天的水柱。“怎麼回事?”孫中山急速地問左右。
原來，昨晚軍事會議以後，海軍司令溫樹德向叛軍告了密。叛軍葉舉聞訊，立即連夜調集了許多大炮，部署到白鵝潭附近的珠江兩岸。“給我狠狠地打！”孫中山面對叛軍的攻擊，果斷地命令道。在叛軍猛烈的炮火中，葉劍英所在的“寶璧”艦中彈負傷，艦艇被炸得左右搖晃。葉劍英沉著指揮部隊，用步槍、機槍向敵人陣地射擊。艦上的大炮也不斷地向兩岸叛軍陣地射去，炸得叛軍血肉橫飛。
戰鬥達到白熱化程度。忽然，葉劍英發現艦上的機槍不響了。他急忙跑去一看，原來射手中彈犧牲了。他不由分說，親手抓起機槍，命令副射手:“給我裝子彈!”“噠噠噠噠”，葉劍英操縱著機槍，猛烈地向敵人射擊。艦隊一邊還擊，一邊向前挺進。各艦都不同程度地中了彈，艦上不時冒著火苗和硝煙。經過頑強奮戰，孫中山率領彈痕累累的艦隊，挺進到了白鵝潭，然後拋錨駐紮，等待北伐軍回師增援。
艦隊屹立在白鵝潭水面上，像一把鋼刀插在叛軍的身上，使叛軍受到極大的威脅。他們不斷地向艦隊襲擊。葉劍英率領本部官兵，與其他部隊一起，一次又一次打退了襲擊、騷擾的叛軍。戰鬥的間隙，他嚴密組織士兵巡邏放哨，警惕地注視著敵人的行動，竭盡全力保衛著孫中山統的安全。就這樣，葉劍英率部在艦上堅持戰鬥和巡邏達五十多天，直到孫中山於8月9日離開廣州為止。
