Nach Übernahme der Herrschaft Limburg um 1658 ging JOHANN HANNIBAL GIRARDI von Castell bald an eine erste Erneuerung der seit alters bestehenden Kapelle auf dem Lützelberg. Er stattete sie in Art einer Hauskapelle mit einer Kaplaneipfründe aus, die jedoch nur über geringe wirtschaftliche Mittel verfügte. Schon bald wurde die Kaplanei vom Ortspfarrer mit versehen. Im Kaplaneihaus, das südlich an die Kapelle angebaut ist, wohnte seither ein Eremit, der die Mesnerdienste wahrnahm. Der Stifter wurde 1671 in der Kapelle bestattet. Auch später fanden hier weitere Familienmitglieder ihren Grabplatz in einer Gruft unter dem Chorraum.

Die Wallfahrt erfreute sich im 17. und 18.Jahrhundert großen Zuspruchs. Ende des 17. Jahrhunderts wurde die Skapulierbruderschaft gegründet, die erst im Zuge der Aufklärung kurz vor 1800 aufgehoben wurde. Den gleichzeitigen Versuchen auch die Wallfahrt aufzuheben, widersetzte sich die Pfarrgemeinde mit Erfolg.

Bestandteil des Wallfahrtsheiligtums ist seit dem vorigen Jahrhundert auch der Stationenweg, der von der kleinen Kapelle am Ortsrand – sie entstammt dem späten 17. Jahrhundert – seinen Ausgang nimmt.

Immer wieder wurde die Vermutung geäußert, dass sich auf dem Lützelberg, wie auch auf dem Katharinenberg bei Endingen und auf dem Michaelsberg bei Riegel ein vorchristliches Heiligtum befunden habe. Doch fehlen hierfür bislang alle Belege.