伊勢平氏の祖となった平維衡（子孫が平清盛）の末裔が鎌倉時代に御家人として伊勢国鈴鹿郡関谷を賜り、ここから名字をとって関氏が生まれます。この関氏の一族が伊勢国河曲郡神戸郷を支配し神戸氏を名乗ります。
やがて尾張を平定した織田信長の伊勢攻めが始まります。基本は力攻めですが、この頃の信長はM&A戦略をとっており、それぞれの名家に養子をいれて最終的に乗っ取る形をとりました。神戸家に入ったのが織田信長・三男の織田信孝で、これ以降、神戸信孝と名乗ります。
伊勢は滝川一益・神戸信孝・長野信包（信長の弟で長野氏の養子）、北畠信雄（信長の次男で北畠氏の養子）による支配下になります。本能寺の変の後、神戸信孝と北畠信雄による跡目争い、いわゆる清須会議が行われます。
伊勢神戸城はそれ以前からありましたが、神戸信孝が強固に整備し、5重の天守閣が築かれます。本丸と堀の一部が遺構として残っています。