平城京を造営する時に古墳などを壊しましたが、大安寺では杉山古墳という前方後円墳を敷地に取り込んでいます。
大安寺では古墳を壊しながら麓に瓦窯を６基作っていました。奈良時代末から平安時代にかけて、大安寺の修理に使用された瓦を焼いていたようです。前方部から土砂や葺石が運び出して資材調達に使っていたようですが、古墳そのものは残っています。
5世紀後半頃にできた古墳のようで公園として整備されていて登ることができ若草山などを一望できます。墳丘長は150メートルほどあったようですが、現在は120メートルほどになっています。