X Communication Team(エクス・コミュニケーション・チーム)は、「心をつなげるBMI(ブレイン・マシン・インターフェース)」の研究・開発を進めています。アラヤの強みである最先端AIとニューロサイエンス、意識の理論的研究を融合し、発話に代わる新たなコミュニケーション手段の可能性を探ることで、多様な人々がこれまで以上にわかり合える社会の実現を目指しています。また、本チームはムーンショット目標1金井プロジェクトInternet of Brains(以下IoB)の一環として実施しています。

X communication
EXodus from limitations of body, brain, space, and time, realized by eXtra facility enabling eXpanded communication.

KEY WORDS

#意識 #情報理論研究 #統合情報理論 #グローバルワークスペース理論 #GenerativeAI #BMI #非侵襲 #MoonshotResearchAndDevelopmentInitiative

はじめに

非侵襲型発話解読BMIの開発

現在、X Communication Teamは、非侵襲型発話解読BMI(ブレイン・マシン・インターフェース)の実装に取り組んでいます。具体的には、ユーザーが伝えたい・選択したい言葉を脳波とAIを用いて解読し、その内容に基づく情報をコンピュータやスマホへ文字入力として転写したり、AIによる声の合成を介して、意思疎通を可能にするBMIです。

BMI(Brain-Machine Interface)とは、脳と機械を直接つなぎ、脳の情報を活用する技術である。EEGのような脳活動計測技術と、人工知能のような解析技術を組み合わせ、人間の意図を抽出することで実現する。例えば、脳波からユーザーの意図を解釈してコンピュータを制御する技術や、脳に直接情報を伝達し、感覚器官を介さずに視覚や味覚などの感覚体験を提供する機器などがこれにあたる。これらのBMIは、神経科学に基づく技術を包括するニューロテックの広範な応用の一部である。ニューロテックには、脳活動のモニタリング、治療や強化のための脳への刺激、そしてそれをサポートする技術が含まれる。

BMIには「侵襲型」と「非侵襲型」の2つの手法があります。 侵襲型とは、脳に電極を埋め込むなど身体に何らかのダメージを与える手法です。この手法のメリットは、脳からの信号を直接的に取得できるため、高い精度の情報を収集できる点です。一方で、デメリットとしては、頭部に電極を埋め込む手術が必要なため、導入には身体的・心理的ハードルが高い点が挙げられます。また、多くの脳領域からの情報を取得することが難しいという側面もあります。

非侵襲型とは、頭皮上に電極を貼り付けるなど身体に直接ダメージを与えない手法です。この手法のメリットは、侵襲型と比較して計測への身体的・心理的なハードルが低い点です。手術の必要がなく、ヘッドギアの装着やスキャナーの中に入ることで、簡単に脳活動を計測できるからです。そのため、ヘルスケアなどの非医療領域での一般的な使用の可能性が高まります。一方で、計測のたびに機器を装着しなければならないことや、取得できる信号の精度が低いなどのデメリットを考慮する必要があります。

X Communication Teamでは、非侵襲型BMIの社会実装を目標としています。BMIを活用したコミュニケーションの可能性は、身体に障害のある方だけではなくすべての人に開かれています。一般の方にも広く使用していただけるようなデバイスの開発を通じて、コミュニケーションにおける社会課題の解決に貢献できるよう尽力しています。

Highlights

AI支援型BMI

アラヤでは非侵襲型BMIの実用化のため、『AI支援型BMI』を提唱しています。AI支援型BMIとは、AI技術を積極的に活用して脳波の解析機能を向上させたBMIのことです。AI技術によって、侵襲型と比較して精度が低い脳波データでも充分に利用することが可能になります。このようなAIと人間の補完的な関係性を通して、社会課題解決を目指しています。具体例は、後述する2つの実験内容をご参照ください。

トラステッド・ブレイン・テック/BMIの実現に向けて①「身体的能力と知覚能力の拡張による身体の成約からの開放紹介」金井良太(マネージャー)

 

脳波計測システムの開発

実験の脳波計測には、開発システムを使用しています。非侵襲型の脳波計の課題をできる限り克服し、脳活動由来の電気信号を最大限活用するためです。
非侵襲型の脳波計には主に以下の二つの課題があります。
第一に、侵襲型と比べ、頭蓋骨や頭皮を挟むので脳波が非常に微弱な信号として計測される点です。第二に、脳波以上に表情や眼球運動由来の電気信号が強く計測されてしまう可能性がある点です。現状の対策としては、脳波から雑音信号をリアルタイムで除去するフィルターを実装し、脳波データを収集するようにしました。頭皮に装着する非侵襲型の超高密度脳波計の電極、顔の筋肉由来の電気信号を計測する電極の2種類を併用しています(画像参照)。また、囁き声で発話することで、筋電の出力を最小限に抑えています。

実験例① 超高密度脳波計によるGmailの操作実験

非侵襲型BMIを装着したユーザーが、脳波とChatGPTでGmailを操作するという実験です。
非侵襲型の超高密度脳波計を使用して、特定の色の名前を発話したときの脳波データを取得しました。そのデータをAIに学習させることで、脳波からの単語の識別を実現しました。そして、ChatGPTを組み合わせることで、脳波によるGmailの操作を可能にしました。

 

実験例② 超高密度脳波計とAIによるロボットアームの遠隔操作実験

『赤坂にいるユーザーが非侵襲型BMIを装着し、脳波を使って秋葉原にあるロボットアームを遠隔で操作する』という実験です。「超高密度脳波計によるGmailの操作実験」のネクストステップとしてReinforcemant Learningチームとともに実施いたしました。上述の脳波からの単語の識別(AI支援型BMI)と模倣学習によってロボットアームの遠隔操作を実現しました。

MineRL Competitions

Members

笹井 俊太朗 Ph.D.
Chief Research Officer
2013年に東京大学大学院教育学研究科にてPhD取得(早期修了)。渡米し、University of Wisconsin-Madison医学部研究員として、意識の神経メカニズムの研究に従事。意識の統合情報理論の提唱者と共に理論の構築と検証に取り組む。意識の神経基盤に対応する脳部位の特定に寄与する成果を挙げたのち、2020年11月にアラヤに入社し、2021年10月より現職。意識理論を応用した「心をつなげるBMI」の社会実装を目指し、神経科学とAIの融合領域における基礎研究と、それを応用した新たなニューロテックプロダクトの開発を進めている。
佐藤 元重
シニアリサーチャー
東京大学大学院に在学中、元重はアラヤでインターンをしていた 。2023年に博士号(薬学)を取得後、主任研究員としてアラヤに入社。人間の自由度向上や能力拡張を目指し、ディープラーニングを用いた脳の解読とブレイン・マシン・インターフェース(BMI)の研究に取り組んでいる。 Google Scholar HP:https://motoshigesato.encoder.jp/
井上 昌和
井上 昌和
シニアリサーチャー
正和は、アラヤのシニアリサーチャーです。 東京大学大学院情報理工学系研究科修士課程を修了し、2019年にアラヤに入社。 機械学習エンジニアとして、画像認識やエッジAIを中心に様々なプロジェクトに携わる。2023年、研究開発部門に異動し、BMIの研究に携わる。現在、東京大学大学院博士課程に在籍。
可部 泰生
インターン
東京大学大学院工学系研究科メカノインフォマティクス専攻博士課程在学中。研究テーマは、神経科学に基づくヒューマンオーギュメンテーションの設計指針の開発。
留岡 健一
留岡 健一
リサーチャー
東京大学大学院総合文化研究科修士課程在学中。意識が脳内でどのように生成されるのかという疑問に魅せられ、神経科学/神経工学の道に入る。現在はブレイン・マシン・インターフェース(BMI)の研究開発に従事し、最先端技術を用いた人間の困難の解決と新たな可能性の創造を夢見ている。