這天，吳玠率領軍隊來到饒鳳關，與駐守在這裡的宋軍會合。次日，撒離喝率領金軍來到饒鳳關附近安營紮寨。
宋軍發現後，報告給吳玠，吳玠登上城樓，觀察了金軍營寨，他看到金軍的營寨一座挨著一座，知道金軍來者不善，下令加強戒備，準備戰鬥，隨後吳玠給撒離喝寫了一封信，派人給他送去。
當天下午撒離喝拿到了這封信，立即開始閱讀：宋軍饒鳳關主將吳玠致金軍將領撒離喝，你我在戰場上刀兵相見，但並無個人恩怨，實乃各為其主，將軍若有勇氣，可領兵來戰，以雪啼哭郎君之恥。
看完信撒離喝下令擂鼓聚將，人到齊以後，撒離喝宣讀了吳玠的信，然後說道：“各位將軍，南朝軍隊主將竟然在信裡提到了那個讓本帥感到恥辱的綽號，是可忍孰不可忍，現在我命令，兩天後開始進攻，一定要佔領饒鳳關，不惜任何代價。”到了進攻這天，撒離喝全副武裝騎著馬舉著單筒望遠鏡親自上陣督戰，金軍按照他的命令，擺出六路縱隊，抬著雲梯發起進攻，為了鼓舞士氣，撒離喝下令擂鼓助威。
宋軍方面吳玠也身穿盔甲，手提軍刀站在城樓督戰，他命令用三弓床弩射殺金軍、用石塊砸金軍，有些金軍被火箭射中，引燃了衣服，他們嚇壞了趕緊在地上打了好幾個滾兒才把火弄滅。
撒離喝見久攻不下，下令撤退。當天晚上，吳玠把城中的五個主要將領召集到一起，他對大家說：“各位同僚，從今天的戰況可以看出，這次金賊來者不善，明天他們還會繼續進攻，我們必須將分成幾隊，輪流出戰，才能保證饒鳳關始終控制在我們手裡。”眾人表示同意，吳玠下令將部隊分成五隊，由五個主要軍官分別率領，每天由一支部隊作為守城主力，其他部隊隨時準備增援，軍官們表示同意。
在接下來的幾天裡，每天白天，撒離喝都會組織部隊輪番進攻，宋軍在軍官們指揮下，堅持抵抗，雙方大戰五天，饒鳳關始終控制在宋軍手裡。
第五天傍晚軍匠司（軍需官）向吳玠報告：“將軍，我們的糧食不多了。”還沒等吳玠說話，探馬向他報告說：“稟報將軍，唐峰將軍親自帶兵趕來增援。”吳玠聽後在屋子裡踱了一圈步，下達了一道命令：“由於軍糧不繼，我軍放棄饒鳳關，向西縣（今陝西勉縣）撤退。”同時他派人告訴唐峰，請他趕到西縣會合。
