高城は中世の豪族肥後氏の居城です。肥後氏は平清盛の子孫である種子島信基を始祖とするとされており、北条氏の支流名越氏の地頭代として大隅に下向しました。これがいつ頃かはっきりした事はわかっていませんが信基の五男信家、7男信行の子の代の頃（１２８８）以降と考えらえます。信行の子孫は横川に移り横川氏を称されています。この横川氏の子孫である肥後彦太郎種顕と種久の兄弟は（１３５５）南朝に属し畠山直顕を崎山城に（早崎）にいれ足利勢の島津勢に叛きましたが結局太守島津家6代氏久に誅されてしまいます。崎山城を落とした島津氏久はその後大隅の豪族肝付氏を討つために進軍しますが戦いに際し戦勝を祈願して建立したと考えられているのが島津氏久逆修塔です。