Возведена в 1759 г. в низинной части дворцового парка в виде компактной, прямоугольной в плане, трехэтажной виллы (архитектор А. Паракко). Ее главный фасад, акцентированный волнообразным ризалитом, обращен к холму, чья вершнна занята постройками дворца, противоположный - к берегу речки Краславка, за которой раскрывается панорама застройки у костела св. Людвига. Библиотека имела мансардную крышу, ее ризалиты были завершены мезонинами, обрамленными с боков барочными волютами. Здание обращает на себя внимание совершенством форм и гармонией пропорций, что указывает на руку незаурядного зодчего. На всех этажах дома применена единая планировочная схема, несколько видоизмененная лишь на первом этаже (партере), где находились жилые покои: на средней оси размещены продолговатый восьмигранный салон и прямоугольный зал, с боков - небольшие комнаты с закругленными углами. Располагавшийся на втором этаже центральный зал библиотеки (ок. 60 кв. м), поделенный ныне перегородками и междуэтажным перекрытием, имел первоначально двухсветное решение. Жилой этаж снаружи выглядит как рустованный цоколь, особенно высокий со стороны реки, где за счет понижения уровня земли в состав цоколя включены также стены сводчатого подвала. Верхние этажи оформлены большим ордером и увенчаны сочным карнизом, центральный ризалит своеобразно выделен двумя расположенными по его краям свободно стоящими колоннами. Во 2-й четверти XIX в. в здании библиотеки находилась повятовая школа, затем - уездное училище. В этот период были разобраны мезонины, мансардная крыша заменена пологой, а в 1920-е гг. характерная деревянная лестница - современной каменной. В нем только на первом этаже сохранились фрагменты барочного обрамления оштукатуренных плафонов.

© В. Чантурия, Й. Минкявичюс, Ю. Васильев, К. Алттоа, Белоруссия-Литва-Латвия-Эстония, «Искусство», М., 1986 г.