鳥屋城とともに越智谷の北側を守っていた山城です。上ノ山城というのは仮称で最近、城郭跡と認定され「近畿の城郭5」に出ていました。
上ノ山城の頂上には威徳天神社があり、越智氏が勧請したようです。北越智町の集落に神社への参拝道があるんですが、これが分かりにくい入口で神社の燈篭が目印になります。頂上まで参拝道が続いており、登っていくと威徳天神社があります。神社からは御所や葛城方面がよく見えます。
神社境内が削平地になっていて郭跡になっていました。一部には土塁があり、境内奥をずっと行くと堀切がありました。切岸を中心に守る山城のようです。