понедельник, 30 ноября 2020 15:57

Создали нейропереводчик для людей с нарушениями слуха

Создали нейропереводчик для людей с нарушениями слуха
Созданный алгоритм совершенствует собственные навыки, анализируя, насколько удачно сделал скелетную модель тела. Фото: arxiv.org

В Великобритании ученые из Университета Суррея представили нейросеть, способную превращать текст в видео с человеком, показывающим его на языке жестов.

Препринт с соответствующим исследованием опубликовали на arXiv.

Разработчики создали алгоритм, который может переводить текст на жестовый язык. В частности нейросеть отдельно учится вырисовывать кисти рук, потому что именно они важны для точно сурдоперевода. Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а тот объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает изменение поз в реалистичное видео.

Созданный алгоритм совершенствует собственные навыки, анализируя, насколько удачно сделал скелетную модель тела, и улучшает ее в следующий раз.

ЧИТАЙТЕ ТАКЖЕ: Создали приложение для понимания кошачьего языка

По данным Всемирной федерации глухонемых, различные нарушения слуха проявляются у каждого 9-го жителя планеты.

На планете кроме 2,5 тыс. языков, есть еще одна форма общения - язык взгляда и жестов. Всемирная Федерация глухих в 1950-х для обслуживания международных мероприятий глухих, то есть конгрессов, симпозиумов, конференций, в том числе и спортивных, разработала Жестуно - систему жестов.

Сейчас вы читаете новость «Создали нейропереводчик для людей с нарушениями слуха». Вас также могут заинтересовать свежие новости Украины и мировые на Gazeta.ua

Комментарии

Оставлять комментарии могут лишь авторизированные пользователи

Голосов: 54830
Голосование Поддерживаете введение биометрического контроля на границе с РФ?
  • Поддерживаю. Теперь нужно запретить украинцам ездить в Россию
  • Нет, ничего не даст кроме очередей на границе
  • Нужно вводить визовый режим
  • Лучше запретить россиянам въезд в Украину
  • Это ничего не даст. Преступники с РФ все равно будут находить способы попасть в Украину
  • Достаточно полностью прекратить транспортное сообщение с РФ
  • Сомнительное решение. Такой контроль еще больше провоцировать Россию. Возможно обострение на Востоке
Просмотреть