南北朝から戦国時代にかけ大和で活躍したのが大和四家で越智・十市・箸尾・筒井の四氏でした。越智氏は大和源氏の源親家が平家追悼の戦功によって越智、掖上、根成柿、柏原（御所）の土地をもらい越智粉盛荷ノ岳に居住して越智氏というようになります。
越智氏の居館のあった場所は三方が丘に囲まれ前面には川が流れる要害の地でした。現在は畑になっていますが、オヤシキという地名が残っています。囲まれた丘の上には郭が造られ要害になっていました。
南北朝時代、越智氏は南朝側の中心勢力でがんばっていましたが室町時代、筒井氏と大和の覇権を争い、幕府が筒井側についてこともあり多武峯の戦いで敗れ、越智氏は没落します。ところが遺児が河内守護畠山氏の助けで越智氏を再興し、その後もずっと筒井氏や大和へ侵入してきた松永久秀と戦い続けます。その拠点だったのが越智城です。