耿飈於清宣統元年七月十三日（1909年8月28日），出生於湖南醴陵嚴家衝。
耿飈童年開始習武，1922年走上了革命道路，是常寧水口山工人運動中的“少年英雄”。1925年5月，在常寧水口山、蔣先雲、宋喬生為介紹人，耿飈加入了中國共產主義青年團。1928年8月，耿飈年滿十八歲，黃佐、李菊生為介紹人，轉為中國共產黨黨員。
1930年9月，毛澤東率紅軍來到醴陵，耿飈率領游擊隊，與毛澤東一起走上了井岡山。在中央蘇區第一次反“圍剿”至第五次反“圍剿”過程中，耿飈歷任紅三軍9師參謀、偵查科科長、參謀長，紅四團團長。
1934年10月，耿飈率領紅四團開始長征，是長征路上“逢山開路、遇水搭橋”的開路先鋒，在智渡瀟水、血戰湘江、強渡烏江等等戰役中，戰功卓著！
1935年1月遵義會議後，耿飈同志任紅1軍團第1師參謀長，率部參加四渡赤水、再克遵義、南渡烏江，從雲南境內巧渡金沙江等重要戰役戰鬥，為中央紅軍擺脫國民黨軍隊的圍追堵截，贏得戰略轉移的主動權作出了突出貢獻。繼又率部通過彝族地區，搶渡大渡河，配合兄弟部隊奪佔瀘定橋，使中央紅軍再次擺脫了險境。
在抗日戰爭期間，耿飈任129師385旅參謀長、兼副旅長、副政委、慶陽城防司令。1944年9月，耿飈任晉察冀軍區副參謀長兼聯絡部部長，在這一時期，耿飈與程子華指揮部隊向盤踞在張家口的日偽軍發起進攻，一舉收復被日軍佔領多年的這座塞外重鎮。
1946年1月至8月，耿飈參與國共軍事調停，被毛澤東特別授予“少將”軍銜，任北平軍事調處執行部中共代表團副參謀長兼交通處處長。
解放戰爭時期，耿飈回到晉察冀軍區，任晉察冀野戰軍參謀長。耿飈先後參與組織了正太戰役、青滄戰役、保北戰役。在戰略進攻階段，耿飈參與指揮了著名的清風店戰役、石家莊戰役。
1948年5月，耿飈任華北軍區第2兵團（後為19兵團），即著名的“楊羅耿兵團”副司令員兼參謀長，率部參加平津戰役、太原戰役、寧夏戰役。
全國解放後，耿飈走向了外交戰線，為新中國的外交“披荊斬棘”二十餘年，先後擔任中國駐瑞典王國大使兼駐丹麥、芬蘭公使，駐巴基斯坦大使，外交部黨委委員、副部長，駐緬甸、阿爾巴尼亞大使。
耿飈是我國社會、軍事改革的主要中央領導之一，在改革開放的歷史時期，耿飈先後任國務院副總理，中央軍委常委、秘書長、國防部長，中共中央顧問委員會常務委員，第六屆全國人民代表大會常務委員會副委員長，為我國的“改革開放”做出了的突出貢獻。
2000年6月23日1時6分，耿飈將軍因病醫治無效在北京逝世，享年91歲。
在近代無產階級革命家中，耿飈是為數不多的軍事家、外交家、政治家於一身的湘籍名將。
