На конференции GPU Technology 2019 в Сан-Хосе в США компания Nvidia представила новую разработку — сервис GauGAN, превращающий грубые рисунки в фотореалистичные картины за долю секунды. Инструмент использует нейросети для преобразования сегментированных набросков в реалистичные изображения.
Разработчики считают, что программа упростит работу архитекторам и ландшафтным дизайнерам, разработчикам видеоигр. С искусственным интеллектом, который понимает, как выглядит реальный мир, профессионалы могли бы создавать лучшие прототипы идей и быстро вносить изменения.
По словам Брайана Катандзаро, вице-президента по прикладным исследованиям в Nvidia, «намного проще устраивать мозговые штурмы с помощью простых эскизов, и эта технология способна преобразовывать эскизы в очень реалистичные изображения». Технологию, лежащую в основе GauGAN, уподобляют «умной кисти», которая может заполнять детали на грубых сегментированных участках изображения, высокоуровневых контурах, показывающих расположение объектов.
GauGAN позволяет пользователям создавать свои собственные участки на наброске и помечать каждый сегмент метками, такими как песок, небо, море или снег. Инструмент затем заполняет ландшафт прудом и близлежащими элементами: например, деревья и камни будут отображаться как отражения в воде. Если поменять метку сегмента с «трава» на «снег», то все изображение изменится на зимнюю картинку, где дерево сбросит листву. Катандзаро сравнивает технологию с книжкой-раскраской, которая описывает, где солнце, где небо: «Тогда нейронная сеть способна заполнить все детали и текстуры, а также отражения, тени и цвета, основываясь на том, что она узнала о реальных изображениях».
Пока что этой программы нет в свободном доступе, однако посетители могут попробовать этот инструмент на конференции GPU Technology 2019.