メモリを備えたAIには、まだ長期的な開発が必要-スマートグリッドホーム株式会社！大連ホールディングス

         人工知能が長期記憶を形成するためには、脳科学、神経科学、心理学、行動経済学などの学際的な横断研究も必要です。
         何かを思い出してそれを思い出すことは、人間にとって生来の能力です。記憶により、過去を思い出し、それに基づいて決定を下すことができます。          AIエージェントも同じことができますか？最近、Googleが所有する人工知能会社であるDeepMindは、エージェントが特定の記憶を使用して過去の行動を信頼し、将来の正しい決定を下せるようにする方法を提案しました。関連する結果は、Nature Communicationsの最新号に掲載されました。
         それで、私たちは現在、AIによって生成された記憶と人間の記憶を同じにしているのでしょうか？人工知能はどのような方法で記憶を生成できますか？過去と比較して、この「深い思考」によって提案された新しい方法はどのように違いますか？ AIの思い出を残すために他に何をする必要がありますか？
         AIを「記憶」させる4つの方法
         記憶とは、過去の経験をエンコード、保存、想起する能力です。一般に、過去の経験を使用して現在の行動に影響を与える能力と考えることができます。これにより、人間は以前の経験から学び、現在の実践とつながることができます。
         人生で私たちに触れる人や物は、しばしば思い出を引き起こします。「人間の長期記憶には、マルチモーダルのシーン指向機能が実際に表示されます。つまり、記憶イベントには複数の次元が含まれ、格納されると次元がトリガーされると手がかりとリコールをすばやく見つけることができます。」                   Turing Robotの最高戦略責任者であるTan Yuzhou大臣は、Science and Technology Dailyの記者とのインタビューで語ったが、人々はしばしば記憶量を過大評価している。実際、私たちの記憶容量は非常に限られており、人間の記憶は非常に抽象的である。通常、イベントの特性を選択しますが、これらの要素の多くは単なる概要であり、あいまいです。映画のリコールなど、フレームごとに完全にリコールするわけではありませんが、同様のシーンが再現される場合、前のシーンをリコールします。
         AIが記憶を生成するために、以前の研究で使用された方法は何ですか？
         Tan Yingzhou氏によると、一般的に使用される4つの方法があります。1つ目は、長期短期メモリネットワークです。ネットワークに埋め込まれた明示的なメモリユニットで構成され、その機能はより長い期間の情報を記憶することです。このテクノロジーは、主にGoogle、Amazon、Microsoftなどの企業が音声認識、スマートアシスタントなどに使用しています。 2番目の方法は、弾性ウェイト統合アルゴリズムです。このアルゴリズムは、主に多くのゲームで逐次学習に使用されます。「ディープシンキング」では、メモリ統合に関連するこの種のアルゴリズムを使用します。目的は、マシンが情報を学習し、記憶し、抽出できるようにすることです。 3番目の方法は微分可能なニューラルコンピューターで、このコンピューターの特徴は、ニューラルネットワークをメモリシステムに関連付け、従来のコンピューターのように情報を保存し、例から学習することです。 4番目の方法は連続ニューラルネットワークであり、主に迷路学習に使用され、知識を伝達しながら複雑な連続タスクを解決します。
         長期的なクレジット配分の問題を解決することが重要
         それでは、AIによって生成される記憶は人間の記憶と同じですか？ Tan Yizhouは次のように答えました。「現在、AIのメモリは、学習から得られた情報をエンコードして保存し、それを認知に変換するプロセスにあります。以前のアプローチでは、AIは発生したすべてを保存することしかできませんでしたが、メモリはストレージとは異なります。メモリは効果的にリコールできることです。人間がリコールする方法は、特定のブランドで突然何かを思い出すなど、さまざまなしきい値を超えることが多いので、AIエージェントに過去に何が起こったかを認識させます。覚えておくべきかどうかを判断するためには、いくつかの手段を講じて、人間の記憶の効果を評価して達成するためのいくつかの手段を講じることが重要です。
         AIが過去を思い出すことができるようにするためには、長期的なクレジット配分の問題、つまり長期的な行動シーケンスで行動の有効性を評価する方法が関係します。しかし、人工知能の既存の信頼性分布方法では、行動と結果の間の長い遅延でタスクを解決できません。
         報告によると、人工知能の研究では、個人の行動の有用性を長いシーケンスで評価する問題は、クレジット配分問題と呼ばれます。評価では、過去の行動または計画された将来の行動を記録できます。
         Tan Juzhou氏は次のように説明しています。「強化学習では、エージェントがガイダンスを得るための唯一の方法は報酬です。通常、報酬はまばらで遅れます。エージェントに報酬が与えられると、どの行動を信頼すべきか、非難。これは信用配分の問題だ。」
         さらに、Tan Minzhou氏は、AIが人間のような記憶を生成するためには、AIが最初に一時的な記憶と自伝的記憶を学習する必要があることを紹介しました。 AIがこれを行うのが難しい理由は、エピソード記憶と自伝的記憶が非常に強力な個人体験特性を持っているためです。エピソード記憶と自伝的記憶がパーティーから分離されると、彼らは活力を失います。結局のところ、機械の場合、精神は物質的な存在から独立でき、経験は対象の存在から独立できるのです。さらに、マシンで発生する可能性のある壊滅的な忘却を防ぎます。認知心理学の研究では、人間の自然な認知システムを忘れても、以前の情報を完全に消去する必要はないことが示されています。しかし、マシンにとって、忘れることは壊滅的であり、以前の情報を消去することを意味します。
         人間の複雑な記憶と比較すると、まだ初期段階にある
         Tan Jiuzhouによると、「深い思考」は、集中的な強化学習に基づいてモデルを構築し、長期的な信用配分の原則を導入することを提案しました。最初に、エージェントは知覚とイベントメモリをエンコードして保存する必要があります;次に、エージェントは過去のイベントのメモリを識別してアクセスすることで将来の収益を予測する必要があります;次に、エージェントは将来の報酬への貢献に基づいてこれらの過去を再評価する必要がありますイベント。これにより、エージェントは特定の記憶を使用して過去の行動を信頼し、将来について正しい決定を下すことができます。
         これを行うために、「深い思考」の論文は、それが行う最初の仕事が、主に2種類のタスクを含むタスク構造を形式化することを示しています。具体的には、最初のタイプの情報取得タスク：最初の段階では、エージェントは即時報酬なしで情報を取得するために環境を探索する必要があります; 2番目の段階では、エージェントは無関係な干渉に長時間関与しますタスク、および多くの付随的な報酬の取得; 3つの段階では、エージェントは最初の段階で取得した情報を使用してリモート報酬を取得する必要があります。
         2番目のタイプの因果タスク：最初のフェーズでは、エージェントは、長期の因果関係のみでイベントをトリガーするアクションを実行する必要があります.2番目のフェーズでは、干渉タスクでもあります; 3番目のフェーズでは、成功するために、エージェントは1番目のフェーズのアクティビティを使用して引き起こす必要があります成功するために環境が変わります。
         この構造の完全なタスクを研究する前に、研究者は、エージェントがより単純なパッシブプロセスタスク「パッシブビジュアルマッチング」を実装できるようにすることを検討します。つまり、エージェントは、通りを歩いているときに、不注意でいくつかの情報が観察されました。
「深い思考」の論文は、ゲームをプレイする過程の単純なシーンを提示し、AIエージェントが探索された経路と戦略を記憶できるようにします。もちろん、人間の複雑な記憶メカニズムと比較すると、まだ初期段階です。
         Tan Yingzhouは、論文で述べられているように、新しい方法のパラダイムがAI研究の範囲を広げたことを強調しました。これは、人間の脳科学の研究、および神経科学、心理学、行動経済学などの学際的研究の試みを含む興味深いトピックです。まだまだ先は長く、さらにオープンな調査が必要です。
さらに読む
         AIシステムにはまだ長期記憶がありません
         機能の観点から、人間の脳は、レジスタ、短期記憶、長期記憶、中央制御モジュールなどのいくつかのモジュールに分割できます。人間の脳は、視覚とタッチという5種類のセンサーを介して外部から情報を受信し、レジスタがあります。この情報に注目すると、脳はこの情報を短期記憶に変えることができます。短期記憶は約30秒持続します。これらを意識的に覚えていれば、脳は短期記憶の内容を長期記憶に変えます。
         長期記憶の内容は、情報と知識の両方です。簡単に言えば、情報は世界の事実を表し、知識は世界の人々の理解を表しますが、両者の間に明確な境界線があるとは限りません。人々が情報や知識を長期記憶に保存すると、新しいコンテンツが既存のコンテンツにリンクされ、絶えずスケールが増大しますこれが長期記憶の特徴です。大脳皮質では、記憶とは脳細胞間の接続を変更し、新しいリンクを構築し、新しいネットワークモデルを形成することを意味します。
         現在の人工知能システムには長期記憶がないと考えることができます。 Alpha Dogであれ自動運転車であれ、学習された再利用モデルまたは手動で定義されたモデルです。情報と知識を継続的に取得し、システムに新しい情報と知識を追加するメカニズムはありません。
         一部の学者は、長期記憶を持つと人工知能システムがより高い段階に進化すると信じています。 5〜10年後には、このようなインテリジェントシステムを構築できるようになると想像してください。このシステムには、短期記憶や長期記憶などの言語処理モジュールがあります。システムは、単独でデータを継続的に読み取り、データの知識を圧縮できます。長期メモリモジュールに入れます。長期記憶を備えたインテリジェントな質問応答システムの構築は、まさに私たちのビジョンです。

up：	2020年の人工知能技術の開発動向の分析
next：	人工知能とは正確には何ですか