Восстановление произнесенных слов, обработанных в нечеловеческих мозгах приматов

Опубликовано 28 February 2020

Резюме: Используя искусственный интеллект и технологию интерфейса мозг-компьютер, исследователи воссоздали английские слова из нейронных сигналов, записанных в мозге нечеловеческих приматов.


Источник: Браун университет


Команда исследователей из Университета Брауна использовала интерфейс мозг-компьютер для восстановления английских слов по нервным сигналам, записанным в мозге нечеловеческих приматов. Исследователи утверждают, что исследование, опубликованное в журнале Nature Communications Biology, может стать шагом к разработке мозговых имплантатов, которые могут помочь людям с потерей слуха.


«Что мы сделали, так это записали сложные паттерны нервного возбуждения во вторичной слуховой коре, связанные со слухом приматов», - сказал Арто Нурмикко, профессор Технической школы Брауна, научный сотрудник в Институте мозга им. Карни Брауна. Научный руководитель и старший автор исследования. «Затем мы используем эти нейронные данные, чтобы восстановить звучание этих слов с высокой точностью.


«Главная цель - лучше понять, как обрабатывается звук в мозгу приматов, - добавил Нурмикко, - что в конечном итоге может привести к новым типам нейронного протезирования».


Мозговые системы, вовлеченные в первоначальную обработку звука, похожи у людей и приматов, не являющихся людьми. Первый уровень обработки, который происходит в так называемой первичной слуховой коре, сортирует звуки в соответствии с такими атрибутами, как высота или тон. Затем сигнал перемещается во вторичную слуховую кору, где обрабатывается дальше. Например, когда кто-то слушает произнесенные слова, именно здесь звуки классифицируются по фонемам - простейшим функциям, которые позволяют нам отличать одно слово от другого. После этого информация отправляется в другие части мозга для обработки, которая позволяет человеку понимать речь.


Но поскольку эта обработка звука на ранней стадии похожа у людей и приматов, не являющихся людьми, изучение того, как приматы обрабатывают слова, которые они слышат, полезно, даже если они, вероятно, не понимают, что означают эти слова.


Для исследования два имплантата размером с горошину с 96-канальными микроэлектродными массивами регистрировали активность нейронов, в то время как макаки-резус слушали записи отдельных английских слов и вызовов макака. В этом случае макаки слышали довольно простые одно- или двухсложные слова - «дерево», «хорошо», «север», «крикет» и «программа».


Исследователи обрабатывали нейронные записи с использованием компьютерных алгоритмов, специально разработанных для распознавания нейронных паттернов, связанных с конкретными словами. Оттуда нейронные данные могут быть переведены обратно в компьютерную речь. Наконец, команда использовала несколько метрик, чтобы оценить, насколько близко восстановленная речь соответствовала исходному произнесенному слову, которое слышала макака. Исследование показало, что записанные нейронные данные позволили получить высококачественные реконструкции, понятные для слушателя.


Исследователи говорят, что использование многоэлектродных массивов для записи такой сложной слуховой информации было первым.


«Ранее в ходе работы были собраны данные из вторичной слуховой коры с одиночными электродами, но, насколько нам известно, это первая многоэлектродная запись из этой части мозга», - сказал Нурмикко. «По сути, у нас есть около 200 постов для прослушивания под микроскопом, которые могут дать нам богатство и более высокое разрешение данных, которые необходимы».


Одной из целей исследования, для которого докторант Джихун Ли руководил экспериментами, было проверить, работает ли какой-либо конкретный алгоритм модели декодирования лучше других. Исследование, проведенное в сотрудничестве с Уилсоном Трукколо, экспертом в области вычислительной нейробиологии, показало, что рекуррентные нейронные сети (RNN) - тип алгоритма машинного обучения, часто используемого в компьютеризированном языковом переводе, - приводят к реконструкциям с высокой точностью. RNN значительно превосходили более традиционные алгоритмы, которые, как было показано, эффективны при декодировании нейронных данных из других частей мозга.

Восстановление произнесенных слов, обработанных в нечеловеческих мозгах приматов

Используя интерфейс мозг-компьютер, команда исследователей воссоздала английские слова из мозговой активности макак-резусов, которые слушали, как произносились слова. Изображение показывает спектральный анализ звука слов, услышанных приматом, а также соответствующие нейронные шипы, связанные с каждым словом. Изображение предоставлено Nurmikko Lab.


Кристофер Хилан, научный сотрудник компании Brown и соавтор исследования, считает, что успех RNN обусловлен их гибкостью, что важно при декодировании сложной слуховой информации.


«Более традиционные алгоритмы, используемые для нейронного декодирования, дают предположения о том, как мозг кодирует информацию, и это ограничивает способность этих алгоритмов моделировать нейронные данные», - сказал Хилан, который разработал вычислительный инструментарий для исследования. «Нейронные сети делают более слабые предположения и имеют больше параметров, позволяющих им выучить сложные отношения между нейронными данными и экспериментальной задачей».


В конечном счете, надеются исследователи, такого рода исследования могут помочь в разработке нейронных имплантатов, которые могут помочь в восстановлении слуха людей.


«Вдохновенный сценарий состоит в том, что мы разрабатываем системы, которые обходят большую часть слухового аппарата и попадают прямо в мозг», - сказал Нурмикко. «Те же самые микроэлектроды, которые мы использовали для записи нейронной активности в этом исследовании, могут однажды быть использованы для подачи небольших количеств электрического тока в схемах, которые дают людям ощущение того, что они слышат определенные звуки».


Финансирование: Исследование было поддержано Агентством перспективных исследовательских проектов в области обороны США (N66001-17-C-4013) и было подарено Брауну. Другими соавторами на бумаге были Ронан О'Ши, Лори Линч и Дэвид Брандман.




ОБ ЭТОЙ НЕЙРО-НАУЧНОЙ СТАТЬЕ

Источник: Brown University

Контакты для СМИ: Кевин Стейси - Университет Брауна

Источник изображения: Nurmikko Lab.

Оригинальное исследование: открытый доступ

«Расшифровка речи из записей нервной популяции на основе спайков во вторичной слуховой коре приматов, не являющихся людьми». Кристофер Хилан, Джихун Ли, Ронан О'Ши, Лори Линч, Дэвид М. Брандман, Уилсон Трукколо и Арто В. Нурмикко.

Биология связи: 10.1038 / 42003-019-0707-9.



Общие сведения


Расшифровка речи из записей нервной популяции на основе спайков во вторичной слуховой коре приматов, не являющихся людьми.

Прямая электронная связь с сенсорными областями неокортекса является сложной задачей для brain интерфейсов. Здесь мы сообщаем о первом успешном нейронном декодировании английских слов с высокой разборчивостью от активности нейронной популяции на основе внутрикоркового спайка, зарегистрированной из вторичной слуховой коры макак. Мы получили 96-канальные записи широкополосной популяции с использованием внутрикортикальных микроэлектродных матриц в ростральной и каудальной парабельтовых областях верхней височной извилины (STG). Мы использовали новый инструментарий нейронной обработки для изучения выбора алгоритма декодирования, нейронной предварительной обработки, представления аудио, количества каналов и расположения массива на производительность нейронного декодирования. Представленный подход нейронного декодирования на основе машинного обучения, основанного на пике, может также быть полезен при информировании будущих стратегий кодирования для доставки прямого слухового восприятия в мозг в качестве специфических паттернов микростимуляции.