Штучний інтелект навчили перекладати думки людини у текст

Технологію, яка здатна перетворювати беззвучні думки у текст розробили австралійські науковці.

Користувач технології DeWave здатен перекладати думки у текст за допомогою спеціального шолому, передає Science Alert.

У тестуванні взяли участь 20 осіб. Вони мовчки читали, поки техніка записувала їхні мозкові хвилі за допомогою електроенцефалограми і розшифровувала їх у текст.

"Це дослідження - новаторська спроба перекладу необроблених хвиль ЕЕГ безпосередньо в мову, ця подія знаменує собою значний прорив у цій галузі", - сказав комп'ютерний науковець з Технологічного університету Сіднея Чін-Тенг Лін.

DeWave досягнула близько 40% точності, але це на 3% краще, ніж попередній стандарт перекладу думок із записів ЕЕГ. Дослідники хочуть підвищити точність до 90%. Цей показник відповідає традиційним методам перекладу мови та програмному забезпеченню для розпізнавання мовлення.

Для застосування інших технологій перекладу сигналів мозку у слова потрібно імплантувати електроди у тіло людини або використовувати громіздкі й дорогі МРТ-апарати. Для використання у побуті такі методи не будуть практичними.

Також подібні розробки у більшості випадків повинні постійно відстежувати рух очей, щоб перетворити сигнали мозку у текст. Коли очі переходять від одного слова до іншого, мозок людини робить невелику перерву між обробкою кожного слова. За допомогою відстеження очей програма встановлює кожне слово-ціль. Без цього набагато складніше перекласти необроблену ЕЕГ-хвилю.

ЧИТАЙТЕ ТАКОЖ: Маск заявив про свій штучний інтелект

Мозкові хвилі різних людей відображають перерви між словами по-різному. Це теж ускладнює переклад штучним інтелектом.

Кодер DeWave після тривалого навчання зміг перетворювати хвилі ЕЕГ на код. Його можна буде зіставити з конкретними словами на основі того, наскільки вони близькі до записів у "книзі кодів".

"Це перша програма, яка використовує методи дискретного кодування в процесі перекладу з мозку в текст, впроваджуючи інноваційний підхід до нейронного декодування. Інтеграція з великими мовними моделями відкриває нові горизонти в нейронауках і ШІ", - розповів Лін.

Команда науковців використовувала навчені мовні моделі, які включали комбінацію системи BERT з GPT. Їх протестували на наборах даних, які вчені отримали, відстежуючи рух очей і активність мозку під час читання. За допомогою цього система навчилася співвідносити хвильові патерни мозку зі словами. DeWave навчали за допомогою великої мовної моделі з відкритим вихідним кодом, яка складає речення зі слів.

DeWave найкраще вдається розшифровувати дієслова. Іменники зазвичай перекладаються парами слів, які означають приблизно те саме, але не були точним перекладом. Програма замість слова "автор" могла прочитати "чоловік". Один з авторів дослідження Ікун Дуань пояснив, що семантично схожі слова можуть викликати схожі хвильові патерни в мозку.

"Попри труднощі, наша модель дає значущі результати, поєднуючи ключові слова і формуючи схожі структури речень", - додав він.

Команда науковців каже, що їхнє дослідження є більш надійним, ніж попередні завдяки відносно великому розміру вибірки протестованих людей. Розподіл хвиль ЕЕГ у різних людей сильно варіюється.

Сигнал DeWave поки доволі зашумлений через те, що ЕЕГ-сигнали надходять через "шолом", а не імплантовані у мозок електроди.

"Переклад думок безпосередньо з мозку є цінним, але складним завданням, яке вимагає значних постійних зусиль", - зазначили розробники.

×