Приложение Magic с помощью нейросетей распознает эмоцию на лице. Чтобы показать результат, Magic накладывает на изображение соответствующую анимацию.
В основу технологии легли наработки стартапа FacioMetrics, созданного при поддержке лаборатории Университета Карнеги-Меллон (США). Впоследствии стартап купила компания Facebook.
Сейчас приложение Magic распознает базовый набор эмоций — улыбку, грусть, злость и удивление. Также приложение определяет простые лицевые движения, к примеру, поцелуй.
Точность распознавания в реальных условиях — 85% - сообщает Нi-tech.
Приложение применяет алгоритмы глубокого обучения, которые получили на сотнях тысяч реальных изображений. Кроме того, нейросеть анализирует не только изменение расположение ключевых точек на лице, но и его текстуры.