強化学習チームは、生物知能と人工知能の横断的な分野であるブレイン・ロボット・インターフェースに焦点を当てた研究開発に取り組んでいます。研究開発を通して、人々が外部ロボットアームを制御することで掃除や料理などの日常のさまざまなタスクを行えるようなブレイン・ロボット・インターフェースを構築することを目指しています。
また、本チームはムーンショット目標１金井プロジェクト「Internet of Brains」に参画しています。

強化学習（RL：Reinforcement Learning）とは、不確実性のある状況下で、連続的な意思決定を行う方法を研究する分野であり、自律エージェントを開発するための基礎となります。強化学習では、エージェントは課題を達成するために、環境の探索か試行錯誤によって学習した方策活用のトレードオフが必要になります。しかし、ロボティクスにおいては、エージェントの探索に危険が伴うため、私たちのAI研究では主に模倣学習（IL：Imitation Learning）に焦点を当てています。模倣学習では、エージェントは探索ではなく、デモンストレーションデータから学習を行います。私たちは模倣学習の基本原理についての研究を実施し [1]、模倣学習の研究用のオープンソースライブラリも公開しました。

過去のロボット制御の研究 [2]では、Perceiver-Actorという模倣学習アルゴリズムの改良も提案しました。このアルゴリズムは3Dボクセルと従来のロボットプランナーを活用しており、特にデータ効率に優れた手法となっています。わずか30回程度のデモンストレーションで、引き出しの開閉や物を拾って置くといったタスクを学習することができます。

模倣学習ではデータ収集が重要になります。そのため、私たちは遠隔操作による解決策も模索しています。現在は、フランカ・パンダ社のロボットアームと運動学的に同等の動きをするミニチュア版であるGELLOでを利用しています。私たちはこのミニチュアに、ユーザーへの力のフィードバックを追加することで改良を施しました。

ヒューマン・コンピューター・インタラクション（HCI）の研究では、結果を定量化できることが重要です。そのため、私たちは複数のロボットを同時に制御できる、定性的・定量的な指標を含むウェブベースのユーザーインターフェースを開発しました [4]。私たちのソフトウェアは、マウス、キーボード、ゲームパッド、視線追跡装置、EMGなど、複数の入力デバイスをサポートしています。

脳信号の解析に関して、私たちは現在、EEGデコーダーのキャリブレーションに必要なデータ収集を最小限に抑えたオンライン解読に焦点を当てています。さらに、フィルタリング、CSPなどの特徴量抽出、サポートベクターマシン（SVM）などの「浅いニューラルネットワーク」分類器を使用した従来のEEGパイプラインを、適切な機械学習の手法と組み合わせることが、この領域では最適な手法であると考えています。

私たちの研究の大部分はブレイン・ロボット・インターフェースに関するものですが、AIと神経科学の交差点における基礎的な研究も行っています。具体的には、AIを意識の理論の研究に役立てられると考えています [6]。私たちはグローバル・ワークスペース理論の4つの指標すべてを満たす最初のAIエージェントの実装にも成功しました [7]。