後醍醐天皇の南朝拠点となった吉水院ですが山城の郭状になっており、吉水院は崖に懸け造りで作られていて攻めるのには難しい場所になっています。
後醍醐天皇以前にここを訪れたのが源義経。頼朝と決裂して義経追討に動いたため九州で再起するために大物浦から船出しましたが、暴風によって難破してしまい摂津に押し戻されてしまいます。郎党や静御前を連れて吉水院に隠れますが、ここでも追討をうけ静御前は捕らえられてしまいます。吉野は隠遁させましたが戦闘に関しては中立だったのでしょう。
鎌倉に送られた静御前が頼朝の前で「吉野山 峰の白雪 ふみわけて 入りにし人の 跡ぞ恋しき」と義経を慕う歌を歌ったのを頼朝が激怒。ところが北条政子が私も同じ立場なら同じことをすると取りなしてくれます。