近鉄・JR桜井駅を降りてまっすぐ南へ向かうと大和信用金庫の本店があり、この本店を通り過ぎると国道165号線（津から出ています）があります。この165号線をを超えると右手にこんもりとした丘が見え、丘の上にあるのが若桜神社。境内には清水湧き出る泉があり、これが桜井という地名の由来になっています。この若桜神社が谷城跡です。谷城の築城時期などは分かっていません。
階段を上がると神社の境内で社殿がありますが、ここが谷城の主郭になっていて周りを土塁が巡っています。裏側は竹藪になっていますが土塁がよく分かり、神社の南側には空堀が見事に残っています。住宅地の一角なんですが、開発もされず、よく城跡が残りました。