De kerken van St. Anne en Bernardine zijn een mooi Litouws gotisch ensemble dat pal naast elkaar staat. De Sint-Annakerk, gebouwd met 33 verschillende soorten bakstenen, is het meest opmerkelijke en betoverende gotische gebouw in Litouwen. Het dateert uit het einde van de 15e eeuw en is grotendeels onveranderd gebleven.

Deze 14e-eeuwse kerk, in het Italiaans bekend als Santuario della Madonna della Misericordia, staat bekend om het portret van Madonna della Misericordia, geschilderd door de kunstenaar Giuseppe Soleri in de 18e–19e eeuw. Dit heiligdom, gelegen nabij de Boog van Augustus, werd oorspronkelijk gebouwd door Clarisse-nonnen. Door de geschiedenis heen is deze kerk een plaats geweest van voortdurende bedevaarten en een plaats van diep gebed. Naar verluidt trok het wonderbaarlijke beeld van Madonna della Misericordia in 1850 haar ogen, wat bijdroeg aan de mystiek. Daarom is de 12e van elke maand van bijzondere betekenis als dag om deze wonderbaarlijke gebeurtenis te herdenken.