青山町駅の北側に城氏城がありますが南側にあるのが桐ケ谷城。
桐ケ谷城も青山町駅のホームから見えていて、鉄塔が建っている山です。坂を登り、山に着いたら道なきヤブの中を登っていきますが城氏城ほど急ではありません。ですがスーツ姿で登るのはあまり、おすすめしません、（笑）
頂上に方形郭で四方が土塁と堀に囲まれた城があらわれます。かなり崩れていますが土塁の高いところは5メートルぐらいありました。郭の中はけっこう広いのですが、ヤブ状態。木に青いパネルがつけられており、伊賀の山城ではこの青いパネルに城の名前が書かれていて本丸跡の目印になります。もっともパネルに桐ケ谷城の字は見えないぐらいになっていました。
城の記録は残っていないようですが、すぐ近くに初瀬街道（奈良と伊勢を結ぶ街道）があり、街道のすぐ山側に阿保城（あおじょう）があります。聖武天皇の阿保頓宮があったとことも言われています。
桐ケ谷城は阿保城のすぐ裏手の山なので阿保城の詰城か支城だったのでしょう。城氏城が初瀬街道の向こう側に見え、青山町の街道宿は城氏城、桐ケ谷、阿保城の３つの城が連携して守っていたのでしょう。