В результате нового исследования выяснилось, что искусственный интеллект может расшифровывать слова и предложения на основе мозговой активности с удивительной, но всё же ограниченной точностью.
В частности используя данные об активности мозга, в рамках проведенного исследования искусственный интеллект угадывал то, что человек слышал.
Разработанный материнской компанией Facebook Meta, искусственный интеллект в конечном итоге может быть использован для помощи тысячам людей во всем мире, которые не могут общаться с помощью речи, набора текста или жестов, сообщают исследователи. Сюда входят многие пациенты в минимальном сознании или «вегетативном состоянии».
Большинство существующих технологий, помогающих таким пациентам общаться, требуют рискованных операций на головном мозге для имплантации электродов. По словам Жан-Реми Кинга (нейробиолога, работающего в Высшей нормальной школе в Париже) этот новый подход «может обеспечить доступный способ помочь пациентам с ограниченными возможностями без использования инвазивных методов».
Кинг и его коллеги обучили вычислительный инструмент распознавать слова и предложения на 56000 часов записей речи на 53 языках. Инструмент, также известный как языковая модель, научился распознавать особенности языка как на элементарном уровне — буквах или слогах, так и на более широком уровне, таком как слово или предложение.
Команда применила искусственный интеллект с этой языковой моделью к базам данных из четырёх учреждений, которые включали мозговую активность 169 добровольцев. В этих базах данных участники слушали различные истории и предложения, например, из «Старик и море»
Эрнеста Хемингуэя и «Приключения Алисы в стране чудес»
Льюиса Кэрролла, в то время как мозг людей сканировался с помощью магнитоэнцефалографии или электроэнцефалографии. Эти методы измеряют магнитную или электрическую составляющую сигналов мозга.
Затем с помощью вычислительного метода, команда попыталась расшифровать то, что участники слышали, используя всего три секунды данных об активности мозга каждого из них. Команда поручила искусственному интеллекту сопоставить звуки речи из записей рассказов с моделями активности мозга, которые искусственный интеллект определил как соответствующие тому, что люди слышали. Затем он делал прогнозы о том, что человек мог слышать в течение этого короткого времени, учитывая более 1000 вариантов.
Фото: vokrugsveta.ua
Исследователи обнаружили, что с помощью магнитоэнцефалографии, правильный ответ был получен в 73 процентах случаев. Однако применение этого метода требует использования громоздкого и дорогого оборудования, а потому практическое применение этой технологии в клиниках, очевидно, потребует научных инноваций, которые сделают применяемое оборудование дешевле и проще в использовании.
Также важно понять, что на самом деле означает слово «расшифровка» в этом исследовании, говорит Джонатан Бреннан, лингвист из Мичиганского университета в Анн-Арборе. Это слово часто используется для описания процесса интерпретации информации непосредственно из источника — в данном случае из мозговой активности. При этом возможно, что искусственный интеллект смог сделать это с высокой точностью только потому, что ему был предоставлен конечный список возможных правильных ответов, на базе которого он мог делать свои предположения.
В то же время по словам Бреннана с языком такой подход не поможет, потому что язык «бесконечен».
Кроме того в рамках исследования, искусственный интеллект декодировал информацию от участников, которые пассивно слушали аудио, что не имеет прямого отношения к невербальным пациентам. Чтобы он стал значимым инструментом коммуникации, учёным необходимо научиться расшифровывать по активности мозга то, что эти пациенты намереваются сказать, включая выражение голода, дискомфорта или хотя бы простое «да» или «нет».
Авторы исследования согласны, что новое исследование — это расшифровка восприятия речи, а не её производства, хотя именно производство речи является конечной целью, однако на данный момент учёные всё ещё далеки от её достижения.