11-классник из Подмосковья создал робота на основе ИИ для изучения жестового языка

Ученик 11-го класса Виталий Симонов из школы Nº 13 в Электростали разработал устройство, которое в игровой форме обучает жестовому языку. Робот «Дактик» распознает жесты с помощью технологий компьютерного зрения и искусственного интеллекта, а затем проверяет их правильность. Об этом сообщает пресс-служба министерства образования Московской области.

«Я ехал в автобусе и увидел, как слабослышащий мужчина пытался что-то объяснить другим людям. Его никто не понимал. Я заинтересовался, решил изучить подробнее эту тему и в итоге разработал проект. Всем ребятам, кто так же сильно, как и я, увлечен разработками, советую никогда сдаваться, все время пробовать что-то новое и искать альтернативные способы решения проблем», — рассказал Виталий Симонов, создатель робота, воспитанник центра развития творчества детей и юношества «Диалог» в Электростали.

У «Дактика» три режима работы. В зависимости от выбранного режима система предлагает пользователю показать на жестовом языке букву, слово или целую фразу. Робот считывает положение пальцев кисти руки и показывает корректность ответа. Устройство не требует постоянного подключения к интернету, а дизайн в виде панды и геймификация помогают сделать обучение более интерактивным и увлекательным.

Работа над проектом велась в центре «Диалог» под руководством преподавателя программирования и робототехники Сергея Симонова. Школьник самостоятельно провел исследование, разработал конструкцию, программное обеспечение и обучил нейронную сеть. Корпус робота распечатан на 3D-принтере, а нейросеть обучалась на основе фотографий — собирались по пять фото руки на каждую из букв жестового алфавита. Чтобы система компьютерного зрения могла фиксировать положение пальцев пользователя, была разработана нейронная сеть — корректность жеста отслеживается по 21 точке, которые равномерно расположены на кисти руки. Координаты точек поступают в математическую модель, самостоятельно разработанную Виталием Симоновым, — она векторизует данные и позволяет системе распознать показываемые пользователем буквы.

«На мой взгляд, самая главная роль педагога — показать ребенку, куда он должен прийти. А дальше он сам начинает работать, искать пути, решения. Работа с роботами у нас в кружке начинается с 5-6 класса. Я ставлю ребятам задачи, которые их роботы должны выполнить. Если что-то не получается, то я подсказываю, направляю. С учениками повзрослее мы уже переходим к изучению электроники, чтобы они могли разрабатывать более сложные проекты и гаджеты», — рассказал преподаватель центра развития творчества детей и юношества «Диалог» Сергей Симонов.

Робот «Дактик» был апробирован и получил положительные отзывы от педагогов и воспитанников школы-интернат для детей с ограниченными возможностями здоровья Nº1 в Электростали.

Записаться на программы центра развития творчества детей и юношества «Диалог» можно с помощью «Навигатора дополнительного образования» по  ссылке. Занятия проходят по адресу: г. Электросталь, ул. Пушкина, д. 20А.

Ранее губернатор Подмосковья Андрей Воробьев отмечал, что работа с одаренными детьми является особой и очень ответственной миссией.