Im Jahre 1662 wurde in Kaltenbrunnen die erste Kapelle gebaut, gestiftet von Adam Lauchenauer. Schon 1780 war diese baufällig geworden. Man brach sie ab und baute an ihrer Stelle eine neue Kapelle. Die Kirchweihe erfolgte am 3. August 1781. Im Verlaufe der Zeit wurde die Kapelle mehrmals renoviert, das letzte Mal 1965 mit einem Baukredit von 80 000 Franken.
Die St. Jakobskapelle in Kaltenbrunnen liegt am Pilgerweg aus Deutschland über Fischingen nach Einsiedeln. Auch heute noch wird sie von vielen Pilgern besucht. Eine einmalige Dienstleistung in diesem Gotteshaus hat wohl der 2005 verstorbene Alphons Ruckstuhl mit 70 Jahren Mesmerdienst erbracht.
Bauseits wird die Kapelle als einfacher Barockbau beschrieben. Der Altar wird dominiert von einem Marienbild, das Jules Ricklin 1951 malte. Die vier Rundbogenfenster weisen die Familienwappen der Spender auf. Die vom weitbekannten Glasmaler Gottlieb Engeler geschaffenen Chorfenster stellen Johannes und Jakobus den Aelteren dar.
Zur 200 Jahrfeier der Kapelle Kaltenbrunnen ist eine von Hans Matthey verfasste Festschrift erschienen. Sie gibt detaillierte Auskunft über diese Kapelle.