Mit dem Beginn der Wallfahrt verhielt es sich so: 1364 soll der Legende nach der Graf von Ortenburg an Kößlarn vorbei geritten sein und bei Kößlarn in einem Wacholderstrauch ein Madonnenbild mit dem Jesuskind auf dem Arm gefunden haben.
Als sich rasch wundersame Heilungen an diesem Ort ereigneten, wurde die "Liebe Frau beim Kößlhof" schnell zu einem Zufluchtsort für viele Menschen. Bereits um 1400 konnte dort eine steinerne Kirche mit drei Altären gebaut werden, die 1443 geweiht wurde und 1451 erweitert werden musste.

Bis zur Reformation stiegen die Pilgerzahlen unaufhaltsam an - eine Chronik berichtet aus dem Jahr 1448 von rund 137 Pfarreien und Filialen, die mit Kreuz und Fahnen nach Kößlarn zogen.
Die Wallfahrtsseelsorge wurde den Zisterziensern vom Kloster Aldersbach übertragen. Zum Schutz der Pilger und der Wallfahrtsschätze hat Michael Sallinger von 1461 bis 1480 ein Mauerring mit Torhäusern und Wehrmauern um die Kirche gebaut.
Nach den Schrecken des 30-jährigen Kriegs und der Pest kam die Wallfahrt zum Erliegen und konnte erst wieder im 18. Jahrhundert - in der Zeit des Barock - neu belebt werden.