Нейросеть научили в реальном времени предсказывать место падения мяча в настольном теннисе даже до того, как спортсмен попал по нему ракеткой. Об этом сообщает портал N+1.
Так, эксперименты с профессиональными игроками и любителями показали, что предсказанная точка падения в 75% случаев корректно укладывается в диаметр мяча.
В основе алгоритма японских программистов лежат две нейросети с разными задачами и архитектурой. Сначала данные с веб-камеры, установленной сверху со стороны принимающего игрока попадают на сверточную нейросеть ResNet50, которая размечает на каждом кадре положение основных сегментов тела подающего игрока. Затем десять последних кадров с размеченными положениями тела подаются на нейросеть с долгой краткосрочной памятью (LSTM), которая отвечает за расчет места падения мяча. Вместе с ними этой нейросети даются данные о положении игрового стола, благодаря чему происходит калибровка. Полученная точка падения при необходимости в реальном времени выводится на стол с помощью проектора.
Авторы исследования собрали данные для обучения, отслеживая полет мяча с помощью высокоскоростной камеры, но уменьшали частоту с 240 до 30 кадров в секунду, чтобы привести в соответствие с веб-камерой, используемой вне обучения. Кроме того, они записывали звук во время игры, чтобы точно определить момент касания мяча о стол. Для предварительного обучения разработчики также применяли записи теннисных подач из интернета. Сопоставив точные данные о траектории с положениями тел игроков во время множества подач, они обучили алгоритм достаточно точной работе.
После обучения алгоритма разработчики проверили его на успешных подачах восьми человек, из которых четверо были часто играющими игроками, а еще четверо были любителями. Результаты показали, что предсказания алгоритма корректно укладываются в круг с диаметром четыре сантиметра (размер мяча) в 81,25% случаев при подаче профессионала и в 68,75% при подаче любителя (в среднем 75%).
В еще одном исследовании программисты проверили применимость системы для обучения, пригласив шесть человек, почти не игравших в настольный теннис. Они должны были принимать подачу опытного игрока в двух условиях: с проекцией рассчитанной точки падения на стол или без нее. Выяснилось, что с проекцией они успешно отбивали мяч на сторону соперника почти на 11% чаще.
Напомним, ранее сообщалось, что разработчики из США научили нейросеть реалистично создавать 3D-фотографии.
