Американские разработчики представили открытый алгоритм, превращающий фотографии в трехмерные с реалистично дорисованным нейросетью фоном. Французский разработчик Сириль Дианье использовал код этого алгоритма и создал расширение для браузера Google Chrome, преобразующего посты в Instagram из обычных в трехмерные и анимированные.
Об этом сообщает N+1.
Существуют алгоритмы, позволяющие создавать из двумерных изображений трехмерные, причем если раньше они носили исследовательский характер, то сейчас их можно встретить в обычных приложениях, таких как Facebook.
Однако в большинстве сайтов и приложений такой функции пока нет, а в тех, где она уже используется, она обычно реализована не очень качественно. В частности, это касается качества дорисовки фона за объектами, а также отделения объектов и фона друг от друга.
В середине апреля группа американских разработчиков из Политехнического университета Виргинии и Facebook создала новый алгоритм, который качественно отделяет объекты на переднем плане от фона, а затем дорисовывает пустые участки заднего плана, используя данные от соседних областей. Более подробно о работе исходного алгоритма можно прочитать в нашей заметке.
Как и в случае со многими алгоритмами машинного обучения, авторы опубликовали не только статью о нем, но и код с документацией. Дианье из Google Arts использовал этот код для создания браузерного расширения, анимирующего фотографии из Instagram, который сам по себе не имеет такой функции.
Just pushed the code of a chrome extension that turns every Instagram posts into 3d images using #3DPhotoInpainting. No GPU needed thanks to @GoogleColab but a bit of patience to set it up ;-)
Demo: @parrstudio's amazing work
Code: https://t.co/59yJUvRHxE#AIUX #Interaction #ML pic.twitter.com/86mMBWdm7V— Cyril Diagne (@cyrildiagne) April 19, 2020
Алгоритм работает на основе нейросети, и даже с обученной моделью на обработку сразу нескольких фотографий из постов на экране необходимы довольно большие вычислительные ресурсы. Дианье использовал гибридную структуру программы: пользовательская часть работает как расширение для браузера, а обработка изображений проходит в облаке на Google Colab. В нем пользователь получает бесплатный доступ к одному мощному графическому ускорителю и возможность запуска произвольного кода на Python.
Разработчик опубликовал код и инструкцию на GitHub. Он признал, что ее необходимо доработать, чтобы с ней справились обычные пользователи, и заявил, что планирует это сделать.
У программы есть и другие ограничения: Google Colab сбрасывает конфигурацию каждые 12 часов, поэтому ее необходимо настраивать заново, а кроме того, неизвестно, как расширение соотносится с правилами использования Instagram.
Как сообщал Realist, американские разработчики создали алгоритм для превращения обычных фотографий в трехмерные, причем с реалистично дорисованными фрагментами за объектами на снимке. Алгоритм качественно определяет границы объектов, находящихся на разном расстоянии от камеры.
