V minulosti bola pomerne významnou súčasťou panstva rodu Sinei-Merše, ktorý tento kraj držal vo svojom vlastníctve až do začiatku 20. storočia.

Z historických prameňov vyplýva, že celá táto lokalita bola pravdepodobne osídlená už v období praveku, čo by mali dokladovať aj nálezy v neďalekej jaskyni Zlá diera, ktoré sú datované do obdobia neolitu a eneolitu.

Ako uviedol historik Patri Derfiňák z Prešovskej univerzity, Lipovce boli už v stredoveku známe tým, že sa tam nachádzal hrádok. K jeho územnému vlastníctvu patrili predovšetkým lesy a niekoľko usadlostí.

Z hrádku sa však veľa nezachovalo a dokonca je málo aj historických zmienok. Objekt sa mal zachovať do obdobia na prelome 16. a 17. storočia. Stavba bola pôvodne sčasti drevená a sčasti kamenná. Zachovali sa len menšie kamenné segmenty.

Derfiňák doplnil, že podľa historických záznamov, v dobe feudálnej anarchie po bitke pri Moháči, kedy prebiehal zápas o uhorský trón, na tomto hrade prevádzkovali peňazokazeckú dielňu.

"Zachovali sa o nej zmienky v súdnych výpovediach snáď najväčšieho falšovateľa na východnom Slovensku, zlatníka a rezbára Mikuláša. Keď ho chytili, tak vypovedal, že viacerí jeho druhovia, konkrétne Tomáš Sturcer, ako majster falšovateľ, viac ako dva roky na lipoveckom hrade vyrábal strieborné poľské groše a uhorské denáre pre vtedajšieho majiteľa hradu", pripomína historik.

Dodáva, že falšovateľov chránil jednak majiteľ, ktorý z toho profitoval, ale aj odľahlá poloha hradu. Na druhej strane však bol vzdialený len niekoľko kilometrov od hlavnej cesty, takže pomaly mohli peniaze dávať do obehu.