箕作山城の横にある山に小脇山城があります。小脇山城は六角氏家臣である三井氏の居城です。麓に館跡が発掘で見つかり、小脇山城は詰城でした。
織田信長が足利義昭を奉じて上洛する時に六角氏とともに戦ったのが三井高安です。ところが箕作山城が落とされたため逃亡することに。六角氏は甲賀に逃げましたが、三井氏はなぜか伊勢の松坂へ逃げます。やがて松坂には近江の蒲生氏郷がはいり商人の町になっていきます。三井高安の孫が三井高利で、高安が越後守を名乗っていたことから屋号を越後屋とします。そう現金、掛値なしで大成功する越後屋（今の三越）です。
小脇山城はひたすら階段を登って岩戸山(十三仏)にたどりつき、そこからすぐのところにあります。いくつも連なる郭跡と石垣跡を見ることができます。切岸には縦堀がありました。眺めはよく小脇山の山頂（郭になっています）からは360度、見渡せます。