織田信長と対立し、本能寺の変では明智光秀に味方したことから能勢頼次は備前岡山に落ち延びました。月日が流れ徳川家康が京都の実相寺（日蓮宗）で休憩した時、住職が能勢頼次の弟だった縁から、能勢頼次は家康に召し抱えられることになります。関ヶ原の戦いで戦功を立て、家康から能勢の領地を与えられます。
別の説もあり秀吉の九州征伐に能勢頼次が従っていた時に犬猿の仲だった塩川氏が能勢氏を攻め、急遽大坂へ戻った能勢頼次が秀吉に訴えて塩川氏を滅ぼしたという説です。いずれにしても能勢氏は江戸時代、徳川家に仕えることなりました。丸山城の代わりに新たに地黄城（地黄陣屋）を構築します。今は能勢町東中学校となっていますが、石垣などが残されています。地黄は薬草の地黄草からきており、能勢には平安時代、朝廷の典薬寮領の地黄御薗がありました。
故郷の地を回復できた能勢頼次は為楽山城の跡地に仏堂を建て、これが能勢妙見山となります。参詣者が増え、全国的に「能勢の妙見さん」が有名となります。能勢家は江戸の本所に下屋敷があったことから屋敷内に妙見菩薩を勧請し、これが妙見山別院となります。勝海舟が子供時代に大けがをした時、父の小吉が水垢離のために日参したのが妙見山別院となります。