Паризька лабораторія Meta Fundamental Artificial Intelligence Research (FAIR) і Баскський центр пізнання, мозку та мови (BCBL), Іспанія, спільно працювали над розробкою нових моделей штучного інтелекту, які можуть зчитувати й інтерпретувати сигнали мозку, щоб реконструювати набрані речення та відображати точні нейронні процеси, які перетворюють думки на вимовлені чи письмові слова.
Це нові можливості для відновлення комунікації в людей із черепно-мозковими травмами без необхідності хірургічних втручань.
У першому дослідженні використовували магнітоенцефалографію (МЕГ) та електроенцефалографію (ЕЕГ) для фіксації активності мозку 35 здорових добровольців, коли вони друкували речення, пише Techspot.
Система має трикомпонентну архітектуру, що складається з кодера зображень, кодера мозку та декодера зображень. Кодер зображення будує багатий набір представлень зображення незалежно від мозку. Потім кодер мозку вчиться узгоджувати MEG-сигнали з цими зображеннями. Нарешті, декодер зображень генерує правдоподібне зображення на основі цих уявлень мозку. Точність розшифровки символів досягнула до 80%.
Друге дослідження зосереджене на розумінні того, як мозок перетворює думки на мову. Використовуючи штучний інтелект для інтерпретації МЕГ-сигналів, коли учасники набирали речення, дослідники змогли визначити точні моменти, коли думки перетворюються на слова, склади та окремі літери.
Це дослідження показує, що мозок генерує послідовність уявлень, починаючи з найабстрактнішого рівня (значення речення) і поступово перетворюючи їх на конкретні дії, такі як рухи пальців на клавіатурі. Дослідження також демонструє, що мозок використовує «динамічний нейронний код» для створення ланцюжка послідовних репрезентацій, зберігаючи кожну з них протягом тривалого часу.
Хоча ця технологія є багатообіцяльною, залишається кілька викликів, перш ніж її можна буде застосувати в клінічних умовах. Моделі все ще потребують вдосконалення точності декодування та оптимізації використання МЕГ, що вимагає спеціальних умов, таких як кімната з магнітним екрануванням і нерухомість пацієнта.
Meta планує усунути ці обмеження в майбутніх дослідженнях шляхом підвищення точності та надійності процесу декодування, вивчення альтернативних неінвазивних методів візуалізації мозку, які є більш практичними для повсякденного використання, а також розробки складніших моделей ШІ, які можуть краще інтерпретувати складні сигнали мозку.
Компанія також прагне розширити свої дослідження, щоб охопити ширший спектр когнітивних процесів і вивчити потенційні застосування в таких галузях, як охорона здоров’я, освіта та взаємодія людини з комп’ютером.
