Bereits vor 50.000 Jahren fanden eiszeitliche Tiere in den Höhlen des Wielandsteins Unterschlupf, wie Funde von Knochenresten beweisen. Im 13. Jahrhundert war die Burg auf dem Felskegel Sitz der Wieland, die zu den Dienstmannen der Grafen von Lechsgemünd-Graisbach gehörten. Die Burg hatte eine Vorgängerin, das "Alte Haus", das 450 m weiter südsüdwestlich auf dem Bergvorsprung zwischen Wellheimer Tal und Spindeltal stand. Als erster des Geschlechts wird 1212 Siegfried Wieland erwähnt. Um 1300 gaben die Wieland ihren Sitz Wielandstein auf, doch existierte das Geschlecht in der Gegend weiter, zunächst in Büttelbronn, von 1346 bis 1407 in Unterstall (bei Neuburg), später auch in Rennertshofen. Von 1415 bis 1532 besaß die Familie eine Burghut in der Feste Vohburg. Zwischen 1555 und 1570 war Christoph Wieland Richter in Burgheim und Inhaber des dortigen Landsassengutes. Danach wird das Geschlecht urkundlich nicht mehr erwähnt. Noch zu Beginn des vorigen Jahrhunderts waren nicht unbedeutende Mauerreste der Burg Wielandstein vorhanden, doch wurden die Steine in der Folgezeit für Bauten der Wielandshöfe verwendet. Heute ist die Burg vollkommen verschwunden, nur die Sage berichtet von Raubrittern, die zur Strafe für ihre Untaten nicht zur Ruhe kommen und zu gewissen Zeiten mit fürchterlichem Getöse an den unten gelegenen Höfen vorüberrauschen, gefolgt von Leichengeruch.
Wielandstein bei den Wielandshöfen
Der dichtbewaldete, nahezu unbezwingbare Felsen ist am Fuß von einem imposanten Felsentor und einer Höhle durchbrochen. Ein von hier aufwärtsstrebender Kamin diente möglicherweise als Geheimaufgang zum Felsplateau, das die Burg Wielandstein trug. Mauerreste von ihr sind nicht mehr vorhanden, doch ist der Halsgraben noch deutlich erkennbar, der den Burgplatz vom Hinterland trennte.