Первые евреи появились в Санкт-Петербурге вскоре после его возникновения. Это были потомки выкрестов, привезенные Петром I для участия в строительстве Петербурга, и, конечно, их история не имеет прямого отношения к истории формирования еврейской общины города. Все они сыграли важную роль в развитии Российского государства и становлении новой русской столицы, но не имели никакого отношения к истории собственно евреев России и Петербурга.

Официально, по указу Екатерины I, евреям было запрещено проживать не только в столице, но и вообще в России. Однако ради своей выгоды некоторые русские правители нарушали свои же собственные указы. Таким образом, евреи, в услугах которых нуждался двор, могли находиться в Петербурге непродолжительное время.

Среди евреев, приезжавших в Петербург в это время, чаще всего встречаются финансовые дельцы, купцы и врачи. В основном это были люди состоятельные, имевшие не только домочадцев, но и слуг. Поэтому в доме, где жила еврейская семья, почти всегда был миньян – 10 взрослых мужчин, необходимых для общественной молитвы. Таким образом, хотя в Петербурге не было официальных синагог или молитвенных домов, евреи устраивали молитвы дома.

Правление Анны Иоанновны ознаменовалось суровыми репрессиями по отношению к евреям. В 1740 году она подписала указ о высылке евреев из Малороссии. 2 декабря 1742 года именным указом Елизавета не только подтвердила тот же самый указ, но и потребовала «высылки всех жидов как из Великороссийских, так и Малороссийских городов, сел и деревень, с их имуществом».

Екатерина II проводила двойственную политику по отношению к евреям. Императрица была главой православного государства и должна была считаться с общественным мнением, поэтому официально евреям по-прежнему было запрещено приезжать в Петербург. Но в государственных интересах Екатерина разрешала некоторым из них проживать в столице.

После трех разделов Польши в конце XVIII века Россия получает огромные территории на западе империи, населенные не только поляками литовцами, белорусами и украинцами, но и евреями. В конце ХVIII века евреи — частые гости столицы. В Петербург приезжают не только купцы. В город едут для того, чтобы держать экзамен при Медицинской коллегии на звание врача. Столицу посещают депутации евреев из провинции. Так, в 1785 году делегация белорусских евреев из шести человек успешно ходатайствовала перед императрицей об облегчении участи еврейского населения на присоединенных к России землях.

С конца 70-х гг. XVIII века в доме генерал-полицмейстера Чичерина на Невском проспекте жил крупный предприниматель Абрам Перетц, вокруг которого группировалась первая еврейская община Петербурга. Ее составляли выходцы из города Шклова, которых называли шкловскими маскилами. Они были приглашены в Петербург как представители еврейского населения для участия в работе созданного в 1802 году Еврейского комитета. Вместе с еврейскими депутатами в столицу приехали члены их семей, служащие и домашняя прислуга. В том же 1802 году евреи приобрели у лютеранской общины часть принадлежавшей ей земли на Волковом кладбище под еврейские захоронения. С этого времени ведет свой официальный отсчет история Петербургской еврейской общины.

Еврейские депутаты и их окружение были временными, но весьма заметными еврейскими жителями столицы начала XIX века. Они проживали в Петербурге легально. Но гораздо больше евреев — подрядчиков, купцов, ремесленников — обосновывалось в столице вопреки официальному запрету. Столица империи продолжала привлекать евреев как центр деловой, политической и культурной жизни страны. К 1826 году в городе проживало 248 евреев.

В конце XVIII века Петербург стал местом временного пребывания основателя хасидского движения Хабад Рабби Шнеур Залмана (Алтер Ребе). Он был обвинен своими религиозными противниками в государственной измене и доставлен в Петропавловскую крепость. Ребе удалось доказать свою невиновность, и вскоре он был освобожден.

Община, группировавшаяся вокруг Перетца, со временем распалась, хотя евреи продолжали жить в Петербурге. Новая, точнее, новые еврейские общины появляются в столице в конце 1820-х годов. Это были солдатские общины. С 1828 года евреев стали призывать в русскую армию. Петербург был крупнейшим центром сосредоточения войск, и среди солдат его гарнизона появились евреи. Закон разрешал солдатам-евреям, как, впрочем, и всем нижним чинам, проживание при них жен и детей.

К 1855 году многие солдаты-евреи вышли в отставку. Впоследствии указами Александра II им было предоставлено право повсеместного проживания в империи, в том числе и в столице. Эти отставные нижние чины были еще совсем не старые люди, получавшие небольшую пенсию, обремененные семьями. Они вынуждены были искать какой-нибудь заработок, источником которого для многих стали различные ремесла. Те же, кто не владел ремеслами, шли служить в городские полицейские и пожарные команды.

К концу 1850-х годов в столице на законных основаниях проживало уже достаточно многочисленное еврейское гражданское население.

Правительство не хотело держать в армии специальных, отдельно нанятых раввинов. Для отправления религиозных обрядов раввинов выбирали из солдатской среды. И первыми раввинами небольших разрозненных еврейских общин в Петербурге были солдаты. Конечно, раввины из солдат не отличались достаточной еврейской ученостью, но они знали обряды и тексты молитв. В 1859 году впервые официально помощником городского раввина был назначен отставной солдат — нижний чин Петербургской полиции Иоссель Иофф. Он занял эту должность по представлению петербургского генерал-губернатора графа А.А. Суворова. Известны случаи, когда раввинов из солдат за их деятельность даже представляли к наградам.

Уже в первые месяцы царствования Александра II один из крупных поставщиков российской армии потомственный почетный гражданин Евзель Гинцбург подал записку на высочайшее имя, в которой приводил доводы в пользу ослабления ограничений для некоторых категорий евреев. Это совпало с общими либеральными устремлениями политики нового императора. В результате евреям — отставным солдатам, купцам 1-й гильдии, обладателям ученых степеней, а потом и диплома о высшем образовании, а также некоторым категориям ремесленников было разрешено проживать вне черты оседлости, в том числе и в Петербурге. Это право распространялось на членов их семей и особо оговоренное число приказчиков и прислуги.

Евреи, законно проживавшие в столице, получили право приглашать для своих духовных нужд раввинов и из других городов. Петербургская еврейская община быстро увеличивалась. Росло и число молелен. Теперь это были уже не только солдатские молельни.

Численный рост общины сопровождался качественными изменениями в ее составе. Складывается новая верхушка петербургского еврейства. Это состоятельные и образованные люди. Заметными в Петербурге становятся еврейские банкиры и предприниматели. Наряду с ними появляется и еврейская интеллигенция — врачи, переводчики. В целом на 1868 год среди петербургских евреев (мужчин) грамотные составляли 72% (среди православного населения столицы доля грамотных достигала только 54%). Такой общине необходимы были и новые, образованные раввины. Первым петербургским раввином с высшим светским образованием стал выпускник философского факультета Гендцбургского университета Абрам Исайя Нейман. Он был утвержден в должности в 1864 году по представлению петербургского военного губернатора графа А.А. Суворова. После Неймана раввином был Абрам Драбкин, закончивший университет в Бреслау по кафедре теологии, а в 1908 году на должность петербургского раввина был утвержден выпускник берлинского университета Моисей Айзенштадт.

12 февраля 1865 года император утвердил Положение Комитета министров об учреждении при молельне Петербургской еврейской общины правления для заведования хозяйственной частью молельни, не придавая ему характера духовного правления.

1 сентября 1869 года император Александр II утвердил постановление Комитета министров о разрешении петербургским евреям построить синагогу взамен существующих молелен.

Уже 11 сентября представители всех молелен столицы избрали комитет для постройки синагоги. Возглавил этот комитет Гораций Гинцбург. Начался сбор средств на строительство. Самое большое пожертвование сделал Евзель Гинцбург (70 тысяч рублей), по 25 тысяч внесли С. С. Поляков и И А. Вавельберг, по 10 тысяч — А. М. Варшавский и А. И. Зак, остальные (всего 170 человек) от 7 тысяч (Леон Розенталь) до 2 рублей (доктор Самсонович из Киева).

Половину мест решено было продать в вечное владение и эти деньги также употребить для строительства. Когда впоследствии денег все же не хватило, пришлось взять ссуду в Петербургско-Московском коммерческом банке (70 тысяч рублей), а затем обратиться с просьбой о ссуде к Горацию Гинцбургу, Самуилу и Даниилу Поляковым.

В 1870 году правление общины приобрело дом на набережной Фонтанки. Первый этаж занимала канцелярия, на втором помещался молитвенный зал. Это здание рассматривалось как временное помещение на период строительства синагоги. Столичная синагога, по мнению верхушки общины, должна была стать не только местом молитвы петербургских евреев, но и символом скорого достижения равноправия для всего российского еврейства. Эти иллюзорные надежды основывались как на проводившихся тогда либеральных реформах, так и на самом факте легального существования еврейской общины в столице.

Оставалось найти место для будущей постройки. Петербургский полицмейстер Ф. Ф. Трепов запретил покупку первоначально намеченного участка земли на углу Гороховой улицы и набережной Фонтанки из-за близости к православной церкви.

Неудачей закончилась и попытка приобрести участок земли на Большом Царскосельском проспекте возле Обуховского моста. Наконец летом 1872 года секретарь общины Л. О. Гордон нашел участок на углу Офицерской и Большой Мастерской улиц. Ф. Ф. Трепов вновь не дал разрешения, указав, что «еврейская синагога не должна быть построена в населенной части города во избежание накопления в ней черни и сопряженной с нею грязи».

Только спустя почти 10 лет после начала хлопот о выделении места под синагогу, в 1878 году, после смещения Трепова, общине удалось добиться разрешения на покупку дома и участка А.А. Ростовского на Большой Мастерской улице, который и был приобретен 16 января 1879 года за 65 тысяч рублей.