Руководство для начинающих по нейрокомпьютерному интерфейсу и сверточным нейронным сетям

Опубликовано 19 February 2020

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

Футурист / Гуманист Герд Леонхард

Дорожная карта

Часть 1:

Большая картина интерфейса мозг-компьютер и исследования AI +

Часть 2:

Углубленное объяснение нейронных сетей, используемых с BCI




Может ли ум напрямую соединяться с искусственным интеллектом, роботами и другими умами через технологии нейрокомпьютерного интерфейса (BCI), чтобы преодолеть наши человеческие ограничения?

Для некоторых это необходимость нашего выживания. Действительно, нам нужно стать киборгами, чтобы соответствовать эпохе искусственного интеллекта.

Определение 

  • Интерфейс мозг-компьютер (BCI): устройства, которые позволяют пользователям взаимодействовать с компьютерами только с помощью мозговой активности, причем эта активность обычно измеряется с помощью электроэнцефалографии (ЭЭГ).
  • Электроэнцефалография (ЭЭГ): физиологический метод выбора для записи электрической активности, генерируемой мозгом с помощью электродов, расположенных на поверхности кожи головы.
  • Функциональная магнитно-резонансная томография (МРТ): измеряет активность мозга путем выявления изменений, связанных с кровотоком.
  • Функциональная ближняя инфракрасная спектроскопия (fNIRS): использование ближней инфракрасной спектроскопии (NIRS) для функциональной нейровизуализации. Используя fNIRS, активность мозга измеряется гемодинамическими реакциями, связанными с поведением нейронов.
  • Сверточная нейронная сеть (CNN): тип искусственной нейронной сети, используемой для распознавания и обработки изображений, которая специально разработана для обработки данных пикселей.
  • Зрительная кора: часть коры головного мозга, которая получает и обрабатывает сенсорные нервные импульсы от глаз

История

Сара Марш, репортер, сказала: «Интерфейсы мозг-компьютер (BCI) не новая идея. Различные формы BCI уже доступны, и имплантируются в ткани вашего мозга ». 

Все это было изначально необходимо для медицинского применения. По словам Зазы Зуилхофа, ведущего дизайнера компании Телларт, «около 220 000 человек уже имеют кохлеарные имплантаты, которые преобразуют аудиосигналы в электрические импульсы, посылающие видимые в их мозг». 

Статья под названием «Краткая история компьютерных интерфейсов мозга» дает нам много информации, в том числе с историей BCI. Действительно, в статье говорится: «В 1970-х годах в Калифорнийском университете было начато исследование ИМК, которое привело к появлению интерфейса мозг-компьютер. В BCI по-прежнему существуют в основном нейропротезы, которые могут помочь восстановить поврежденное зрение, слух и движение. Середина 1990-х годов ознаменовалось появлением первых нейропротезных устройств для людей. BCI не читает мысли точно, но обнаруживает малейшие изменения в энергии. BCI распознает специфические энергетические / частотные паттерны в мозге.

Июнь 2004 года стал значительным событием в этой области, когда Мэтью Нэгл стал первым человеком, которому был имплантирован BCI, BrainGate ™ от Cyberkinetics.

В декабре 2004 года Джонатан проводит исследования и исследования в Центре здравоохранения при Департаменте здравоохранения штата Нью-Йорк. В ходе исследований пациенты просили, чтобы они получали сигналы ЭЭГ от моторной коры - части движущихся головного мозга.

BCI имеет долгосрочную историю, в которой используются роботизированные руки, телефонные наборы и т. Д.

Недавно Нейринк, предприятие, целью которого является разработка BCI, улучшающего человеческое общение в свете ИИ. И Facebook Regin Dugan представила планы Facebook по изменяющей игре технологии BCI, которая обеспечила более эффективную цифровую связь ».

По словам Джона Томаса, Томаша Машика, Нишанта Синха, Тилмана Клюге и Джастина Дауелса, «система BCI имеет четыре основных компонента: получение сигнала, предварительную обработку сигнала, извлечение признаков и классификацию». 

Почему это имеет значение?

По словам Давиде Валериани, октора исследователя brain интерфейсов  в университете Эссекса: «Сочетание людей и технологий может быть более мощным, чем искусственный интеллект. Например, когда мы принимаем решения, основанные на комбинации восприятия и мышления, нейротехнологии могут быть использованы для улучшения нашего восприятия. Это может помочь нам в таких ситуациях, когда вы видите очень размытое изображение с камеры видеонаблюдения и решаете, вмешиваться или нет ». 

На что на самом деле способны эти нейрокомпьютерные интерфейсы?

Для Zaza Zuilhof, это зависит от того, кого вы спрашиваете и хотите ли вы пройти операцию. «Для целей этого мысленного эксперимента давайте предположим, что здоровые люди будут использовать только неинвазивные ИМК, которые не требуют хирургического вмешательства. В этом случае в настоящее время существуют две основные технологии: МРТ и ЭЭГ. Первый требует массивной машины, но второй с потребительскими гарнитурами, такими как Emotiv и Neurosky, фактически стал доступен для более широкой аудитории ». 

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

Тем не менее, BCI также может быть многообещающим инструментом взаимодействия для здоровых людей с несколькими потенциальными приложениями в области мультимедиа, виртуальной реальности или видеоигр среди множества других потенциальных приложений.

Давиде Валериани сказал, что «оборудование ЭЭГ абсолютно безопасно для пользователя, но записывает очень шумные сигналы. Кроме того, исследовательские лаборатории были в основном сфокусированы на том, чтобы использовать его для понимания мозга и предлагать инновационные приложения без каких-либо дальнейших действий в коммерческих продуктах, но пока ... но это изменится (источник)

Компания Маск является последней. Его технология «нейронного кружева» включает в себя введение электродов в мозг для измерения сигналов. Это позволило бы получить нейронные сигналы гораздо лучшего качества, чем ЭЭГ, но это требует хирургического вмешательства. Недавно он заявил, что компьютерные интерфейсы необходимы для подтверждения превосходства человека над искусственным интеллектом ». (источник)

Эта технология все еще опасна! Действительно, мы создали компьютеры и точно знаем, как они работают и как их «модифицировать». Однако у нас не было мозгов, и мы до сих пор не очень хорошо знаем, как они работают. Тем более, как «безопасно» и успешно «вторгаться» в них. Мы добились большого прогресса, но пока недостаточно.

Как работает ваш мозг сейчас и что будет дальше

Проще говоря, ваш мозг состоит из двух основных разделов:

Лимбическая система

Неокортекс.

Лимбическая система отвечает за наши первичные побуждения, а также те, которые связаны с выживанием, такими как прием пищи и размножение. Наш неокортекс является самой передовой областью, и он отвечает за логические функции, которые делают нас хорошими в языках, технологиях, бизнесе и философии.

Человеческий мозг содержит около 86 нервных клеток, называемых нейронами, каждый из которых индивидуально связан с другими нейронами посредством соединителей, называемых аксонами и дендритами. Каждый раз, когда мы думаем, двигаемся или чувствуем, нейроны работают. Действительно, мозг генерирует огромное количество нейронных активностей. В основном, небольшие электрические сигналы, которые перемещаются от нейрона к нейрону, делают работу.

Есть много сигналов, которые можно использовать для BCI. Эти сигналы можно разделить на две категории:

- шипы

- Полевые потенциалы

Мы можем обнаружить эти сигналы, интерпретировать их и использовать их для взаимодействия с устройством.

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

По словам Бориса Реудеринка, консультанта по машинному обучению в Cortext, «одна из самых больших проблем в нейрокомпьютерных интерфейсах состоит в том, что сигналы мозга слабы и очень вариабельны. Вот почему трудно обучить классификатор и использовать его на следующий день, не говоря уже о том, чтобы использовать его по другому предмету ». 

Чтобы вставить Neural Lace, внутри черепа помещается крошечная игла со свернутой сеткой. Сетка затем вводится и раскрывается при инъекции, охватывая мозг.

Искусственному интеллекту или машинному обучению уделяется большое внимание при разработке приложений BCI для решения сложных задач в нескольких областях, в частности в области медицины и робототехники. AI / ML с тех пор стал наиболее эффективным инструментом для систем BCI. 

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

Давайте попробуем подробнее остановиться на этих аспектах ниже. Каждый из этих аспектов имеет свою область исследований.

Производство сигналов

Есть два способа получения этих сигналов мозга:

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

По словам Шоарда Лагарда (Sjoerd Lagarde), инженера-программиста из Quintiq, «активная генерация сигналов имеет то преимущество, что обнаружение сигналов легче, поскольку вы контролируете стимулы; Вы знаете, например, когда они представлены. Это сложнее в случае, когда вы просто читаете мозговые волны от субъекта ».

Обнаружение сигнала

Существуют разные способы обнаружения мозговых сигналов. Наиболее известными являются ЭЭГ и МРТ, но есть и другие. ЭЭГ измеряет электрическую активность мозга, МРТ - кровоток в мозге. Каждый из этих методов имеет свои недостатки. Некоторые имеют лучшее временное разрешение (они могут определять мозговую активность, как это происходит), в то время как другие имеют лучшее пространственное разрешение (они могут точно определять местоположение активности).

Идея остается в значительной степени той же самой для других типов методов измерения.

Обработка сигналов

Одна из проблем, с которой мы столкнемся при работе с данными мозга, заключается в том, что эти данные содержат много шума. Например, при использовании ЭЭГ в данных будут отображаться такие вещи, как шлифовка зубов, а также движения глаз. Этот шум должен быть отфильтрован.

Данные теперь могут быть использованы для обнаружения реальных сигналов. Когда субъект активно генерирует сигналы, мы обычно осознаем, какие сигналы мы хотим обнаружить. Одним из примеров является волна P300, которая представляет собой так называемый связанный с событием потенциал, который проявится, когда будет представлен нечастый, относящийся к задаче стимул. Эта волна будет отображаться как большой пик в ваших данных, и вы можете попробовать различные методы, от машинного обучения, для обнаружения таких пиков.

Передача сигнала

Когда вы обнаружили интересные сигналы в ваших данных, вы хотите использовать их каким-то образом, который будет полезен для кого-то. Субъект может, например, использовать BCI для управления мышью с помощью воображаемого движения. Одна из проблем, с которой вы здесь столкнетесь, заключается в том, что вам нужно максимально эффективно использовать данные, которые вы получаете от субъекта, и в то же время вы должны помнить, что BCI могут совершать ошибки. Текущие BCI относительно медленные и время от времени делают ошибки (например, компьютер думает, что вы представляли движение левой рукой, в то время как на самом деле вы представляли движение правой рукой) ». (источник)

В случае с нейронным кружевом он интегрируется с человеческим мозгом. Это создает идеальный симбиоз между человеком и машиной.

Эти два раздела работают симбиотически друг с другом. Слой ИИ или третий интерфейс может лежать поверх них, погружая нас в совершенно новый и продвинутый мир и давая нам возможность оставаться на одном уровне с нашими друзьями-роботами ИИ.

Это соединение может дать нам доступ к увеличенному объему памяти, удивительным возможностям машинного обучения и, да, к телепатическому общению с кем-то еще без необходимости говорить.

«У вас есть машинное расширение в виде телефона, компьютера и всех ваших приложений. , , безусловно, у вас больше власти, больше возможностей, чем у президента Соединенных Штатов 30 лет назад », - Элон Маск

Типы BCI

По словам Амит Рэя, автора «Сострадательного искусственного интеллекта», «самые сложные ИМК - это« двунаправленные »ИМК (BBCI), которые могут как регистрировать нервную систему, так и стимулировать ее.

Компьютерные интерфейсы мозга можно разделить на три основные группы:

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

В качестве инвазивных признаков необходимо использовать специальные устройства для сбора данных (мозговые сигналы). В полуинвазивных устройствах устройства вставляются в череп на вершине человеческого мозга. В целом, неинвазивные считывания являются наиболее безопасными и недорогими типами устройств. Однако эти сигналы могут захватывать только «более слабые» сигналы человеческого мозга. Обнаружение сигналов мозга с помощью электродов, размещенных на коже головы.

Существует несколько способов разработки неинвазивного интерфейса мозг-компьютер, такого как ЭЭГ (электроэнцефалография), МЭГ (магнитоэнцефалография) или МРТ (магнитно-резонансная томография). Интерфейс мозг-компьютер на основе ЭЭГ является наиболее предпочтительным типом ИМК для изучения. Сигналы ЭЭГ отображают и отображаются в управляющих сигналах, которые компьютер или роботизированное устройство легко воспринимает. Операция по обработке и кодированию является одним из самых сложных этапов построения качественного ИМК. В частности, задача состоит в том, чтобы проводить конкурсы для создания цифровых сигналов ЭЭГ для BCI.

Сверточная нейронная сеть и BCI

CNN - это тип нейронной сети искусственного интеллекта, основанный на зрительной коре. Он способен автоматически извлекать соответствующие функции из входных данных, оптимизируя весовые параметры каждого фильтра посредством прямого и обратного распространения, чтобы минимизировать ошибку классификации.

Слуховая кора человека устроена в иерархической организации, аналогичной зрительной коре. В иерархической системе ряд областей мозга выполняет различные типы вычислений для сенсорной информации, когда она проходит через систему. Более ранние области или «первичная зрительная кора» реагируют на простые функции, такие как цвет или направление. Более поздние этапы позволяют выполнять более сложные задачи, такие как распознавание объектов.

Одним из преимуществ использования техники глубокого обучения является то, что она требует минимальной предварительной обработки, поскольку оптимальные настройки запоминаются автоматически. Что касается CNN, извлечение и классификация признаков объединены в единую структуру и оптимизируются автоматически. Кроме того, данные временных рядов fNIRS людей были введены в CNN. Поскольку свертка выполняется в режиме скользящего показа, процесс извлечения признаков CNN сохраняет временную информацию данных временных рядов, полученных fNIRS.

Руководство для начинающих по нейрокомпьютерному интерфейсу  и сверточным нейронным сетям

Однако, одна из самых больших проблем в исследованиях BCI - нестационарность сигналов мозга. Эта проблема мешает классификатору находить реальные сигналы в сигналах, что приводит к плохим характеристикам классификации ». 

Как вы можете начать изучать BCI с нуля?

Хосеа Сиу, аспирант кафедры аэрокосмической техники, сказал, что «для прямого« мозгового »интерфейса вам необходим набор электродов ЭЭГ, а для периферийных интерфейсов нервной системы - электроды ЭМГ.

После того, как вы сможете получить эти данные на свой компьютер, вам нужно будет выполнить некоторую обработку сигнала. Такие вещи, как фильтрация частоты сигнала, которую вы ищете, фильтрация шума окружающей среды (шум 60 Гц от электрических линий является обычным явлением в США…).

После этого вам нужно подумать о том, что вы на самом деле пытаетесь заставить систему делать. Вам нужно это, чтобы обнаружить определенное изменение в ваших образцах ЭЭГ, когда вы думаете о синем цвете? Или вам это нужно, чтобы обнаружить изменения в вашей ЭМГ, когда вы двигаете пальцем? Как насчет компьютера? Должен ли он запустить программу? Введите текст?

Подумайте, как вы собираетесь маркировать свои данные. Как компьютер узнает изначально, что конкретный сигнал имеет смысл?

Это контролируемое обучение. Выберите предпочитаемый метод классификации, получите много помеченных данных и обучите свою систему. Вы можете использовать такие методы, как перекрестная проверка, чтобы проверить, выполняют ли ваши обученные модели то, что, как вы думаете, они должны делать.

После всего этого у вас может появиться нечто, похожее на brain interface.

Автор: Александр Гонфалониери