JR朝日駅のすぐ近くの高台にあるのが柿城跡。東芝三重工場の近くです。古い写真を見ると藪の中に主郭が残っていたようですが、その後、一帯は住宅地として開発されました。渋見砦公園はきれいさっぱりと城跡がなくなり公園名でしか残っていませんが柿城は主郭が公園になって残っています。
公園設備が置かれていますが周りには土塁などが残っています。住宅地の中によく城跡を残してくれました。柿城には二の丸などもありましたが、こちらは住宅建設に伴って消失してしまいました。柿城跡からは東海道や伊勢湾を眺めることができます。
伊勢名勝志によると柿城は佐脇宗政が1360年に築いた城で、佐脇氏は室町幕府の奉公衆でした。本貫は三河国佐脇郷のようです。1557年に柿城主だった佐脇宗喜が近江・六角氏の命を受けた小倉三河守に攻め滅ぼされたと案内板に書いてありました。