一乗寺のあたりには平安中期から南北朝にかけ一乗寺という天台宗の寺がありました。1335年、南北朝の戦乱で、北朝方の細側軍が一帯に火を放ち、一乗寺も焼失します。その後、再建されず廃絶し、地名として残りました。
一乗寺で有名なのが一乗寺下り松。剣豪・宮本武蔵が吉岡一門数十人と決闘を行ったという場所です。坂を登ったところに八大神社があり、立ち寄った武蔵は参拝しようとしましたが、「我神仏を尊んで神仏を恃まず」と意を決して神社に祈ることなく決闘の場に向かいます。吉川英治の「宮本武蔵」でも名場面として出てきます。
もっとも町道場である吉岡道場が実際にあったのは堀川一条だったので、下り松の決闘は一乗寺ではなく、一条だったという説があります。