柳之御所のすぐ横にあるのが高館。
丘に造られた山城で初代・藤原清衡の時代から要害でした。柳之御所の詰城のような存在だったのでしょう。3代・藤原秀衡が源頼朝と対立した源義経を呼び寄せます。どうも、軍事の天才だった義経を総大将にして鎌倉との一戦を考えていたようです。ところが秀衡が死んだ後、源頼朝の圧力に耐えかねた4代・藤原泰衡が急襲し義経は自刃して果てます。自刃したのは、もう少し北にある衣川館という説もあります。
自刃する時間を稼ぐために弁慶が満身に矢を受けながら薙刀を杖にして亡くなります。これが有名な弁慶の立ち往生。「夏草や 兵どもが 夢の跡」という松尾芭蕉の碑が建っていました。
高館は北上川が眺められる高台にあり、複数の郭から構成されています。なかなか広い郭です。