Построен в 1668-1685 гг. по заказу гетмана Великого княжества Литовского М.К. Пацаса по проекту архитектора И. Заора в комплексе с монастырем латеранских каноников (августинианцев). Принадлежит к самым выдающимся памятникам барокко Литвы. План прямоугольный, с выявлением во внутренней структуре формы латинского креста. Над пересечением трансепта с нефом расположен купол с фонарем. Главный фасад фланкирован двумя башнями, он интересен оригинальным использованием колонн вместо пилястров, фронтоном и декоративно оформленным порталом. Главным достоинством костела является гармонично решенное величественное внутреннее пространство со множеством высокохудожественных скульптурных украшений на сводах пресбитерия, в куполе, в центральном нефе, в капеллах (св. Августина, Женщин, св. Урсулы, Рыцарей). Особой экспрессивностью и прекрасной моделировкой форм выделяется скульптура Христа в пресбитерии (XVII в., художник неизвестен). Только фигурных композиций, горельефов и статуй здесь насчитывается более двух тысяч. Основные лепные украшения (стуковые рельефы) были виртуозно сделаны итальянскими скульпторами П. Перти и Дж. М. Галли и мастером из Вильнюса М. Жилявичюсом в 1677-1685 гг. Автор фресок центрального нефа и сакристии, как полагают, живописец К.М.А. Паллони. Лепные работы велись до 1704 г.
В начале XIX в. была проведена частичная реставрация декора. Главный алтарь находится в костеле местечка Бочки, на его месте в пресбитерии помещена картина «Прощание свв. Петра и Павла» (1804) живописца П. Смуглявичюса и четыре скульптуры пророков работы скульптора К. Ельскиса. В начале XIX в. также были заменены картины в алтарях капелл Женщин и Рыцарей; в центральном нефе был поставлен амвон в форме лодки в стиле рококо.

© В. Чантурия, Й. Минкявичюс, Ю. Васильев, К. Алттоа, Белоруссия-Литва-Латвия-Эстония, «Искусство», М., 1986 г.