Однажды, согласно легенде, прогуливаясь по Васильевскому острову Пётр I наткнулся на две необычные сосны. Ветвь одной из них вросла в ствол другой так, что было совершенно невозможно определить, какой из двух сосен она принадлежит. Такой раритет будто бы и подсказал Петру I место для строительство первого музея в России - Кунсткамеры. 

Здание Кунсткамеры было заложено на Университетской набережной в 1718 году про проекту Г. И. Маттарнови. Его проект предусматривал устройство смотровой площадки на боковых крыльях здания, плоское завершение трёхярусной башни. После смерти Маттарнови в 1719 году строительство Кунсткамеры возглавил Н. Ф. Гербель. Под его руководством были построены стены и архитектурные детали. Однако всего через год башня начала разрушаться, её верхний ярус пришлось разобрать. В 1724 году работы продолжил Г. Киавери. Крыша здания Кунскамеры была выполнена двухъярусной с переломом. В 1725 году ещё не завершённое здание было передано Академии наук. По требованию астронома Ж. Н. Делиля вокруг башни по нижнему ярусу была обустроена обходная галерея. По проекту П. Виньона купол башни стал увенчан сферой.

Университетская наб., 3 (Кунсткамера)

В 1727 году в ещё недостроенное здание Кунсткамеры были перемещены библиотека и Большой Готторпский глобус. Его разместили в третьем этаже, над залом-ротондой анатомического театра. Из палат Кикина были переведены собранные Петром I коллекции "монстров и раритетов". В ноябре 1728 года здесь был торжественно открыт первый в России естественно-научный музей, именовавшийся Кунсткамерой, давший название и зданию. Здесь тогда разместилась также обсерватория и библиотека Академии наук. Для привлечения посетителей всем мужчинам здесь бесплатно наливали рюмку водки с закуской в придачу.

После отъезда Киавери из России, окончанием строительства Кунцкамеры занялся М. Г. Земцов.

Здесь, в Академии наук, работали Л. Эйлер, Д. Бернулли. С 1741 по 1765 года здесь работал М. В. Ломоносов.

Башня на здании Кунсткамеры сгорела в 1747 году, в дальнейшем дом стоял с двумя уцелевшими ярусами башни. В 1754-1758 годах архитектором С. И. Чевакинским проводились восстановительные работы, была изменена верхняя часть здания. Были разобраны фигурные фронтоны, упрощена крыша. Большой Готторпский глобус был воссоздан по сохранившемуся каркасу и помещён в специальный павильон, построенный по проекту И. Я. Шумахера в 1750-1753 годах на площади перед зданием Двенадцати коллегий.

Популярность Кунскамеры среди петербуржцев была чрезвычайно велика. Многие экспонаты со временем обзавелись своеобразными легендами. Одна из них рассказывает о заспиртованной голове казнённой ещё при Петре I за детоубийство Марии Гамильтон. Голова хранилась заспиртованной в стеклянной колбе. Однажды неким посетителем спирт был использован по прямому назначению, а голова исчезла. Обеспокоенные хранители музея обратились к морякам стоящего напротив Кунсткамеры корабля с просьбой найти экспонат. Моряки пообещали, однако корабль ушёл и матросы надолго пропали. А чуть ли не через год они появились в музее и предложили взамен одной головы английской леди целых три головы подстреленных басмачей.

Другая легенда рассказывает о Николае Буржуа. В 1717 году во Франции Пётр увидел этого человека ростом почти 2 метра 30 сантиметров. Пётр привёз его в Россию и сделал своим личным лакеем. В 1724 году Николай Буржуа умер, его скелет был передан в Кунцкамеру. Во время пожара в 1747 году череп скелета пропал, на его место укрепили другой подходящий череп, коих в собрании было превеликое множество. С тех пор, как гласит легенда, по ночам скелет ходит по залам и ищет свою голову.

В 1777-1779 годах в связи с 50-летием Академии наук в Кунсткамере были установлены аллегорические группы, бюсты и медальоны с портретами учёных. Из них в восточном зале сохранился барельеф "Празднующая Европа", бюст Екатерины II, барельеф "Россия", медальон с изображением Л. Эйлера.

На основе коллекций Кунсткамеры в 1836 году было создано ещё несколько академических музеев (зоологический, ботанический, этнографический и др.). Тогда же, после перевода обсерватории в Пулково, библиотека Академии наук заняла все помещения здания. В 1878 году здесь открылся Музей антропологии и этнографии. В 1884-1886 годах по проекту Р. Р. Марфельда в Таможенном переулке был построен новый двухэтажный корпус. В 1909 году он по проекту А. В. Друкера был надстроен третим этажом.

В 1947-1949 годах был восстановлен верхний ярус башни, в ней установили Готторпский глобус. В 1949 году в здании Кунсткамеры открылся музей М. В. Ломоносова.