Мозковий імплантат повернув людям з паралічем голос і жести одночасно

Досі нейроінтерфейси «мозок — комп'ютер» вміли щось одне: або передавати слова, або виконувати один рух. Але справжня розмова — це завжди поєднання мовлення з мімікою та жестами. Саме цю прогалину й закрили дослідники.

Головна складність була в тому, що нейронні сигнали мовлення та жестів перетинаються між собою. Щоб їх розділити, під час операції пацієнтам встановили 253 електроди на поверхню лівої півкулі мозку. «Інтерфейс охоплює досить широку поверхню сенсомоторної кори, тому він може вловлювати сигнали, пов'язані як з мовленням, так і з рухами тіла», — пояснює Саманта Брослєр, аспірантка з біоінженерії.

Розшифровує ці сигнали штучний інтелект: він перетворює мозкову активність у текст на екрані та керує рухами персоналізованого аватара. Кожен учасник сам обирав зовнішність свого віртуального двійника — обличчя, одяг, оточення.

У досліді взяли участь троє добровольців під псевдонімами. Bravo-1r пережив інсульт у 20 років, що призвів до паралічу. Учасниця Bravo-3 теж постраждала від інсульту. А в Bravo-6 діагностували бічний аміотрофічний склероз. Науковці перевірили систему на 10 фразах і 10 жестах. Показово, що Bravo-6 лише уявляв жести, не рухаючись тілом, але ШІ все одно зрозумів його наміри.

Під час випробувань точність розпізнавання сягала 100 відсотків в одного з пацієнтів і 75 відсотків в іншого. Алгоритми продовжують удосконалювати, прибираючи помилки декодування. «Ці результати є кроком до створення єдиних нейропротезних систем, які поєднують кілька форм комунікації, таких як усне мовлення та жести тіла», — зазначають автори дослідження.

Це лише перша фаза експерименту. Зараз команда працює над тим, щоб розширити словниковий запас і набір жестів — аби спілкування людей із важкими порушеннями стало максимально природним.