Фермерский дворец находится на территории имения "Александрия", названного так по имени супруги Николая I Александры Федоровны. В отличие от официальной летней резиденции, то есть самого Петергофа, расположенное перед ним имение являлось личной загородной дачей императорской семьи.
Дворец вначале был просто фермой, построенной в 1830 году в полуверсте от собственно дачи, известной как Дворец-коттедж. Автор обоих сооружений — архитектор Адам Минелас. Ферма была выполнена в пасторальном стиле и должна была отражать эстетические пристрастия Александры Федоровны. Здание было одноэтажным, с кухней, кладовыми и комнатами для пастухов. В скотном дворе содержались породистые коровы и быки. Следующий император Александр II решил превратить ферму в Фермерский дворец, который бы служил ему "вторым домом". Перестройку осуществил архитектор Андрей Штакеншнейдер в 1838-1840 годах. Здание стало двухэтажным, а его фасады были отделаны в неоготическом стиле. Во дворце появилась приличная коллекция живописи, а также некоторые технические новинки, например первый в России лифт (он представлял собой кабину, которую лифтер поднимал вручную с помощью ворота).
В 1926 году на первом этаже Фермерского дворца открылся историко-бытовой музей, а на втором — база отдыха Ленсовета. Через шесть лет музей закрыли. Во время Великой Отечественной войны дворец серьезно пострадал, его убранство было утрачено, и после войны его переоборудовали под общежитие Петродворцового часового завода.
Директору Государственного музея-заповедника "Петергоф" Вадиму Знаменову удалось выбить бюджетные деньги на реставрацию дворца, в котором предполагалось устроить музей эпохи Александра II. Реставратором стала фирма "Пикалов и сын", которая существует с 1971 года и является одной из самых известных реставрационных фирм города. Работы были практически завершены перед 300-летием Петербурга, но планировавшееся открытие дворца по ряду причин пришлось перенести на 2006 год. По словам Вадима Знаменова, никаких выставочных экспонатов во дворец пока не завозили, поэтому от огня пострадало только само здание.