現在の安倍文殊院は移転したもので、もともとの安倍寺は少し南西にありました。現在は安倍史跡公園になっていて塔跡などがありますが、観光客は誰もいません（笑）。安倍寺が建っているのは飛鳥から続く山田道が北に延びる上ツ道になる所で交通の要所でした。
古くから高い盛り土があり、建物の建設計画が持ち上がった時に発掘調査が行われ、古代寺院が現れました。安倍寺は東に金堂、西に塔、北に講堂を配した法隆寺式、あるいは川原寺式に近かったことが判明します。山田寺式の軒丸瓦等が出ているので山田寺と同時期に安倍寺が造られたようです。
山田寺と同じ時期の創建なので建立者は孝徳天皇時代に活躍した阿倍倉梯麻呂のようです。安部寺は鎌倉時代に焼失してしまったため、阿倍倉梯麻呂の古墳など別院に移ります。これが現在の安倍文殊院。もともとの安倍寺は廃絶したようです。