Нейросеть научили создавать фотографию блюда по его рецепту - фото

Израильские разработчики создали нейросеть, способную формировать изображение на основе длинного текстового описания объекта, которое не содержит четких данных о его визуальных признаках.

Посвященная разработке статья доступна на arXiv.org.

В качестве примера они научили ее создавать фотографии блюда по его рецепту.

Исследователи применяют нейросетевые алгоритмы для разных задач, связанных с изображением. Как правило, это задачи по классификации изображений или их обработке, но также есть достаточно большой класс задач, связанный с созданием изображения с нуля, в том числе на основе текстового описания.

Во время обучения такого алгоритма он учится связывать слова с соответствующими визуальными признаками.

Обычно при обучении нейросеть получает четкое описание визуальных признаков, к примеру, «оранжевый апельсин на белой тарелке». Однако в реальности многие тексты описывают объекты не настолько четко.

К примеру, в кулинарных рецептах нет описания итогового блюда, а есть лишь список исходных ингредиентов и этапы готовки.

Нетанел Йозефиан и его коллеги из Тель-Авивского университета разработали нейросеть, способную создавать изображение объекта, даже если его описание не содержит четких данных о его визуальных признаках.


Рецепт, реальное изображение созданного по нему блюда и изображения, сгенерированные нейросетью

Авторы отмечают, что выбранный ими подход основан на работе других исследователей, создавших датасет из 800 тысяч пар рецептов и фотографий блюд, а также научивших нейросеть составлять рецепт по фотографии.

Читайте также: Нейросеть создала фото, обманывающее и человека, и компьютер.

Читать все новости