В 1943 году по инициативе Игоря Грабаря при Чрезвычайной комиссии по учету ущерба, понесенного СССР, было создано Бюро экспертов, задачей которого было составление списка так называемых эквивалентов, то есть произведений искусства, которые можно было бы в конце войны вывезти из Германии в виде компенсации. Однако бюро, разумеется, не обладало полной информацией о том, что пропало с территории СССР. Поэтому все свелось к составлению списка вещей, которые этим воспитанным на европейской культуре людям (среди них были, например, выдающийся специалист по искусству Возрождения Виктор Лазарев, архитектор Борис Иофан, проведший молодость в Италии) просто хотелось бы видеть в советских собраниях — то были вещи из Германии, Италии, Венгрии, Румынии и других стран коалиции. Грабарь даже поднимал вопрос о компенсации потерь в области архитектуры и предлагал вывезти из Европы Реймский (почему-то не Кельнский) собор. Однако решено было все же брать картинами. Бюро даже получило задание примерно определить цены. За основу приняли суммы, заплаченные в 30-е годы за шедевры, тайно проданные из Эрмитажа и ныне находящиеся в Вашингтонской Национальной галерее.
Когда Италия вышла из войны, стало ясно, что произведений оттуда не получить, и Иофан был этим очень расстроен. Ему не хотелось терять надежды, и поэтому в окончательный список сливки итальянских музеев все же были включены — а вдруг союзники что-нибудь подарят? Уже в 1943 году начались разговоры о необходимости создания в Москве некоего сверхмузея искусства всех времен и народов. Поступали предложения о создании на основе вывезенных из Европы экспонатов также музея всемирной истории (раз есть такая марксистская дисциплина) и музея науки. Но наиболее конкретное предложение поступило в 1944 году от тогдашнего директора ГМИИ, который предложил влить в коллекцию ГМИИ собрания Музея Востока и Музея новой западной живописи, а также все трофеи с целью создания в Москве музея, равного по своему значению Лувру, Британскому музею и Эрмитажу (который никогда не давал московским музейщикам покоя). Музей этот предлагалось включить в комплекс Дворца советов, чтобы он стал памятником славы русского оружия. Когда в Москву прибыла коллекция Дрезденской галереи, Комитет по делам искусств воспринимал это как первые шаги в осуществлении проекта. В 1946 планировалось помещение трофеев в экспозицию Пушкинского музея. Развеска была сделана, пригласительные билеты отпечатаны, но в последнюю минуту поступил запрет — в связи с созданием ГДР ситуация резко менялась. В Эрмитаже часть вещей успели поместить в экспозицию — по воспоминаниям, "Площадь Согласия" Дега некоторое время там присутствовала.