У Великій Британії вчені з Університету Суррея представили нейромережу, здатну перетворювати текст на відео з людиною, що показуватиме його мовою жестів.
Препринт із відповідним дослідженням опублікували на arXiv.
Розробники створили алгоритм, який може перекладати текст жестовою мовою. Зокрема нейромережа окремо навчається вимальовувати кисті рук, бо саме вони важливі для точно сурдоперекладу. Далі текст проходить через кодування та перетворюється у скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується у вектор, а той об'єднується з зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео.
Створений алгоритм вдосконалює власні навички, аналізуючи, наскільки вдало зробив скелетну модель тіла, та покращує її наступного разу.
ЧИТАЙТЕ ТАКОЖ: Створили додаток для розуміння котячої мови
За даними Всесвітньої федерації глухонімих, різні порушення слуху виявляють у кожного 9-го жителя планети.
На планеті крім 2,5 тис. мов, є ще одна форма спілкування - мова погляду й жестів. Всесвітня Федерація глухих у 1950-х для обслуговування міжнародних заходів глухих, тобто конгресів, симпозіумів, конференцій,також і спортивних, розробила Жестуно - систему жестів.
3 
79692
Коментарі