Vildštejn sloužil jako správní středisko, ale jeho existence neměla dlouhého trvání. Existuje několik možných příběhů o jeho zániku.
První verze hovoří o markraběcích válkách mezi Joštem a Prokopem, kdy byl Budišov
v roce 1399 příznivci markraběte Prokopa vypálen. Stejný osud mohl postihnout i nedaleký hrad Vildštejn.
Druhou možností je, že Vildštejn byl v době uherských válek proti
Jiřímu z Poděbrad zničen vojsky
Matyáše Korvína.
O jeho obnovu nebyl učiněn žádný pokus
a od 15. století o něm nejsou žádné zmínky.
Vildštejn byl ve své době pravděpodobně velmi mohutnou stavbou. Podle informační tabule na místě byl
ve 14. století asi třikrát větší než známý hrad Sovinec.
Skládal se z předhradí a samotného hradu s mohutnou válcovitou věží, bergfritem. Obě části byly odděleny hlubokým příkopem. Dnešní stav pouze připomíná nepatrné zbytky zdí a mohutné valy.