Здание Академии художеств было возведено в 1764–1788 гг. по проекту архитекторов Жана Батиста Валлен-Деламота и Александра Филипповича Кокоринова. Сооружение относится к памятникам раннего классицизма.

В начале XIX века Академия жила активной жизнью. В «Новейшем путеводителе по Санкт-Петербургу», выпущенном в издательстве Ф. Шредера в 1820 г., дано следующее описание: «На правом берегу Невы на Васильевском острову, между 3-ей и 4-ой линиями, возвышается сей в благородном вкусе построенный храм, свободным художествам посвященный. Сие прекрасное здание образует большой четвероугольник по 60 сажен на каждой стороне. Лицевая сторона есть одна из прекраснейших и совершеннейших, какие только в сей великолепной столице видеть можно… Ежегодно в сентябре месяце Академия открывается для публики на две недели. Труды воспитанников, профессоров и других художников в обширных залах выставляются на всеобщий суд. Публика… стекается в великом множестве; время сие здесь кажется быть народным праздником; с утра до вечера залы наполнены зрителями; даже люди низшего класса удосуживаются от работ своих, чтобы любоваться произведениями отечественных художников».

Живописец Иван Константинович Айвазовский в своем письме к Н.Н. Кузьмину в 1896 г. рассказывал, как, будучи молодым, видел на такой выставке А.С. Пушкина: «Наш инспектор… представил меня Пушкину… (на выставке в Академии художеств в 1836 г.), как получившего тогда золотую медаль (я оканчивал Академию). Пушкин очень меня ласково встретил, спросил, где мои картины… Теперь я посчитаю на пальцах тех немногих, которые его помнят, а я вдобавок был любезно принят и обласкан поэтом».

В 1809-1822 гг. в Академии учился и в 1836-1849 гг. был ее профессором Карл Павлович Брюллов; его картина “Последний день Помпей”, присланная Мастером в Петербург из Италии в 1834 г., была выставлена именно в Академии и только в 1895 г. была передана Русскому музею.