蘇我倉山田石川麻呂は蘇我氏でありながら、乙巳の変では中大兄皇子、藤原鎌足側につき新政権では右大臣に任じられます。そこで建立を開始したのが山田寺です。上ツ道から山田道に入る所に安倍寺の建立がはじまり、山田道沿いの飛鳥入口にあたる部分に山田寺が建立されます。
ところが謀反の噂が流れ、石川麻呂に孝徳天皇の軍勢が差し向けられても抵抗せず、山田寺で自害します。石川麻呂は冤罪だったと言われますが諸説あります。なんか山背大兄王の事件とよく似ていますね。
■山田寺仏頭
山田寺の建立は中止されていましたが、石川麻呂の孫で天武天皇の皇后の菟野皇女（持統天皇）の尽力もあって完成します。興福寺の僧兵が力を持つようになると山田寺に押し入り、本尊を強奪してしまいます。その後、火事などがあり仏頭だけ残り、現在、興福寺国宝館に公開されています。行くたびに「山田寺から奪い取りやがって」と見ています。
■東回廊
山田寺はやがて荒廃していきますが、現在も水気が多いこともあり倒れた東回廊が、そのまま地中に残っていました。復原された形で飛鳥資料館に展示されています。