江戸時代初め、飫肥藩伊藤氏と薩摩藩島津氏の間で、飫肥城の奪い合いが100年以上も続きました。戦いの末に伊東氏が勝ち、その後飫肥は城下町として長く栄えました。飫肥の街は現在も江戸時代の情緒をただよわせ、｢九州の小京都｣といわれています。石垣や漆喰の壁などの伝統的な町並みは、昭和52年に、国の重要伝統的建造物群保存地区の選定を受けました。 　飫肥城は、もともと薩摩藩が日向で勢力を強めてきた飫肥藩に対抗するために建てたものです。伊東氏が初めて飫肥城を攻めたのは、1484年でした。この時の戦いで伊東祐国が戦死し、1568年の戦いで、念願の飫肥城を手に入れることができました。ところが1572年の戦いで、島津氏に大敗し、飫肥城を失いました。その後、豊臣秀吉が全国統一し伊東祐兵は、飫肥5万1千石を与えられ飫肥城は再び伊東氏の居城となりました。