欒廷玉這個名字在《水滸傳》中首次出現，是在第四十七回。當時，鼓上蚤時遷被祝家莊莊客抓走，病關索楊雄帶著拼命三郎石秀逃到了一家酒店，遇上了當年的舊友鬼臉兒杜興。杜興向二人介紹了祝家莊的基本情況，其中就談到了欒廷玉。杜興說：“又有一個教師， 喚做鐵棒欒廷玉，此人有萬夫不當之勇。”從這句話可知，欒廷玉是祝家莊的教師，武藝高強，綽號“鐵棒”。不過，顯然杜興對於欒廷玉的情況知之甚少，連其籍貫和之前的事蹟並不瞭解。
欒廷玉的首次登場亮相，是在宋江率部“二打祝家莊”期間。當時，宋江帶著矮腳虎王英、摩雲金翅歐鵬、鐵笛仙馬麟、火眼狻猊鄧飛等人進攻祝家莊，扈家莊的一丈青扈三娘前來支援，在陣前活捉了王英。此後，歐鵬與扈三娘進行單挑。馬麟正打算上前助戰，不料祝家莊的少莊主祝龍率部殺出，直取宋江。馬麟見狀，只好與祝龍展開較量。
此時，霹靂火秦明趕到，與祝龍交手，馬麟趁機替下歐鵬，與扈三娘纏鬥。秦明武藝高強，與祝龍單挑十個回合後便佔盡上風。欒廷玉見狀，也從莊內殺出。歐鵬擔心宋江的安危，與欒廷玉交手，卻被其飛錘擊中，翻身落馬。儘管歐鵬在梁山的排名不高，但之前與扈三娘有過數十回合的較量，戰成了平手，足見其武藝不俗。面對歐鵬這樣的猛將，欒廷玉僅僅一個回合便將其擊敗，足見其武藝之高強。
歐鵬落馬後，鄧飛連忙帶著嘍囉前來救人。欒廷玉擔心徒弟祝龍的安危，不與鄧飛纏鬥，直接衝到了秦明的面前，替下祝龍，與秦明展開單挑。面對赫赫有名的梁山五虎將之一，欒廷玉毫不畏懼，與秦明進行了二十多個回合的較量，不分勝負，這也再度彰顯了欒廷玉的武藝。
除了武藝高強之外，欒廷玉還有一個特點：頗有謀略。當他發現自己的武藝與秦明不相伯仲時，立即改變戰術，賣個破綻，撥馬便走，想利用祝家莊外設置的埋伏將對手擊敗。不明真相的秦明 還以為欒廷玉是因為不敵自己而奪路而逃，拍馬便追，結果中了祝家莊的絆馬索，堂堂的梁山五虎將就這樣被欒廷玉生擒活捉。
祝家莊最終被梁山攻破，源於病尉遲孫立。孫立在登州殺死毛太公一家後，本想投奔梁山，後經智多星吳用說服來到祝家莊臥底。孫立與祝家莊從無往來，但與欒廷玉的關係非常特殊。原來，欒廷玉與孫立師出同門，是師兄弟關係。
孫立謊稱自己被調職鄆州，正巧經過祝家莊，特意前來與欒廷玉見面。師弟前來，欒廷玉自然不會起疑心，熱情招待。但欒廷玉做夢也沒有想到的是，自己的這一舉動是引狼入室，對祝家莊和自己帶來了不可挽回的嚴重後果。
最終，孫立等人在祝家莊救出了被抓的秦明、王英和等人，與梁山裡應外合，攻破了祝家莊。梁山兵馬攻入祝家莊之際，欒廷玉率領莊客們頑強抵抗，最終死於亂軍當中。得知欒廷玉戰死，宋江不禁說出了這樣一句話：“只可惜殺了欒廷玉那個好漢。”
不過，身為欒廷玉的師弟，孫立並未將其入土為安，足見此人的冷酷。或許也正是由於這個原因，在梁山大聚義時，武藝高強的孫立並未位居天罡，而是跌落至地煞。一句話，人品太差，令宋江感到心寒。
