機械の自由意志獲得へ
3つの要点
✔️ NASなど機械学習パイプラインの自動化
✔️ その中で、そもそもの問題設定は最後の領域
✔️ 問題学習(PAS)の基本構造、実現アプローチ、必要な制約について概説
Problem Learning: Towards the Free Will of Machines
written by Yongfeng Zhang
(Submitted on 1 Sep 2021)
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Information Retrieval (cs.IR); Machine Learning (cs.LG)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
この論文（ホワイトペーパー）は将来を先導するガイドラインを示す概念的なもので、具体的なアルゴリズムや実装はありません。
機械知能パイプラインは通常、問題、表現、モデル、損失、オプティマイザー、評価指標の6つのコンポーネントで構成されます。感情または画像の分類を例にとると[1、2、3、4]、問題は文または画像をさまざまな感情または画像クラスのラベルに分類することです。この問題を解決するために、単語、文、または画像をベクトルなどの表現に変換します[5]。表現は、LSTM[6]やCNN[7、8]などのモデルによって処理され、クロスエントロピー損失[9]などの損失関数に入力されます。現在の表現とモデルの品質を特徴づけます。次に、バックプロパゲーション[10]や確率的勾配降下法（SGD）[11]などのオプティマイザーを使用して、最適なパラメーターの損失を最適化します。表現とモデルは、統合アーキテクチャ[12]に統合できる場合があり、表現は手動で設計するか（TF-IDF [13]など）、自動的に学習する（単語の埋め込み[5]など）ことができます。最後に、精度、適合率、再現率、F値など、いくつかの（通常は手動で設計された）評価指標を使用して、タスクを評価できます[14]。
パイプラインのコンポーネントの自動化の試みが多くなされています。たとえば、表現学習[15、16、17、18]はデータから優れた特徴量を自動的に学習することを、モデル学習（ニューラルアーキテクチャ検索、または大まかに言えば自動機械学習）[19、20、21]は優れたモデルアーキテクチャを学習することを、損失学習[22、23、24]は優れた損失関数を学習することを、最適化の学習[25、26、27]は適切な最適化アルゴリズムを自動的に発見することを、評価学習[28、29]は手動で設計されたルールベースのメトリックの代わりに、学習ベースの評価指標を発見することを目的とします。
一方、パイプラインの1つの重要なコンポーネントである「問題の定義」は、自動化の観点からはまだほとんど検討されていません。現在のAI研究パラダイムでは、通常、研究またはアプリケーション領域の重要な問題を特定、定義、および定式化するためにドメインの専門家による多大な努力が必要であり、問題は通常、分類、回帰、生成 、予測、ランキングなどの標準形式の1つに形式化されます。比較的複雑な問題は、通常、手動で比較的単純な問題のいくつかのステップに分解されます。たとえば、文の生成は、ビーム検索による単語ランキング問題の複数のステップとして表されることがあり[43]、知識グラフのリンク予測は、エンティティのランク付けの問題として評価されます[30]。
データから研究やアプリケーションの問題を自動的に発見することは、ドメインの専門家には知られていないデータに隠された有効で潜在的に重要な問題を特定し、ある分野で実行できるタスクの範囲を拡大し、まったく新しいものを刺激するのに役立つため、有益です。これは、さまざまな新興AI領域にとって特に重要です。これは、研究の問題が通常「標準」タスクとして形式化される従来のAI領域と比較して、新興領域はさらに多くの未知の問題を提示する可能性があり、これらの問題を特定することが難しい場合があるためです。
このホワイトペーパーでは、データまたはマシンと環境との相互作用から有効で倫理的な問題を発見して定義することを学習することを目的とした問題学習について説明します。問題空間における有効で倫理的な問題の特定として問題学習を形式化し、失敗からの問題学習、探索からの問題学習、問題構成、問題の一般化、問題アーキテクチャ検索、メタ問題学習など、問題学習へのいくつかの可能なアプローチを紹介します。 さらに、問題の潜在的な解決策がどれほど成功しているかを知る必要があるため、問題の定義は通常、問題の評価と密接に関連しています。その結果、問題の定義と評価のパイプラインを自動化するために、問題の学習に伴う評価の学習を行います。広い意味で、問題学習は自由意志へのアプローチです
同様に重要なもう1つの注意点は、問題学習における倫理的考慮事項です。 機械に重要と思われる問題を定義する自由意志を与えることは、AIが問題を定義して解決する自由を持つべきであることを意味するのではなく、倫理的な問題を意味します。
階層的AIアーキテクチャ
抽象的な観点から、最新のAIシステムは、Fig.1aに示すように、階層アーキテクチャで表すことができます。このパラダイムでは、研究者または実務家が最初に関心のある問題を定義します。たとえば、問題は、一連の画像、文、またはグラフをいくつかのクラスラベルに分類したり、時系列の将来の値を予測したり、特定の質問に対する潜在的な回答をランク付けしたりすることです。問題が明確に定義されると、研究者は通常、問題の潜在的な解決策を評価する方法を認識します。分類問題、予測問題、ランク付け問題に対してそれぞれ異なる指標を用いて評価します。次に、研究者は、問題の性質を可能な限り反映する損失関数を設計します。これも同様に問題の種類により異なる損失関数を用います。複雑な問題をモデル化するために、いくつかの損失関数またはいくつかの調整された形式の損失関数の組み合わせが使用される場合があります。
Fig.1bに示すように、アーキテクチャの多くのコンポーネントが自動化されてきました。 AIの長期的なビジョンは、パイプラインのすべてのコンポーネントを自動化して、マシンが問題を自動的に識別し（問題学習）、問題の解決策を自動的に構築できるようにすることです（表現学習、モデル学習、損失学習、最適化の学習） 、そして最後にソリューションを自動的に評価します（評価することの学習）。問題学習は、機械が重要で解決する価値があると考える問題を自動的に識別できるようにすることで、パズルの最後の欠けている部分であり、機械の自由意志に向けた重要な要素です。一方、それはパイプラインのコンポーネントでもあり、倫理的で責任あるAIの観点から慎重に検討する必要があります。これにより、自由意志のあるマシンが傷つくのではなく役立つようになります。
表現学習
初期のインテリジェントシステムは、主に手動で設計された表現を使用していました。機械にデータから特徴量を自動的に学習させることを可能にしたのが表現学習[16]です。エンドツーエンドの学習を通じて、深いモデルが特定のデータで「学習」されます。これにより、トレーニングデータの基礎となるパターンが検出され、通常は表現ベクトルの形式で最も記述的で顕著な特徴量が自動的に抽出されます[61]。抽出された特徴量は、さまざまなレベルの抽象化を表すために階層に編成できる場合があります[16、18]。表現学習により、階層型AIアーキテクチャの最も基本的なレイヤーでの手作業が大幅に軽減されました（Fig. 1b）。
モデル学習
自動化されたモデル設計は、AIパイプラインを自動化する次のステップです。モデルパラメータは学習されますが、モデル構造は手動で設計されるため、多大な人的労力が必要になります。Neural Architecture Search（NAS）は、マシンに特定のタスクに最適なモデル構造を自動的に学習させることを目標にしています。自動的に組み立てられたモデル構造が、多くのタスクで専門家の手動で設計された構造に匹敵するか、それよりも優れている可能性があるとします[19、20、21、64]。
損失学習
損失関数は、モデル出力にペナルティを課す方法を決定し、通常はバックプロパゲーションを通じてモデルまたは表現パラメーターを最適化するための信号を提供します。ドメインの専門家による問題の理解とシステム指定の目標が通常、損失関数に反映されます。損失関数は、複数のタスクを共同で検討するために、$L=\sum_i \lambda_i L_i$ の形式のいくつかの損失の組み合わせである場合があります。一方、研究者は、同じタスクであっても、損失が異なればパフォーマンスも大きく異なる可能性があることを発見しました。たとえば、最近の研究では、多くのタスクで、コントラスト損失がクロスエントロピー損失よりも優れている可能性があることがわかりました[56、65]。機械にタスクに最適な損失関数を自動的に学習させることは困難そうです。損失学習はこの目標を目指しています。基本的な演算子から損失関数を自動的に組み立てて、手動で設計されたものと比較して優れた、またはさらに優れた損失関数を見つけることにより[22、23、24]、損失学習は損失設計に関する人間の努力を軽減します。
最適化への学習
最適化アルゴリズムは、モデルと表現パラメーターを学習するための鍵です。 アルゴリズムの設計は骨の折れるプロセスであり、多くの場合、構想と検証を何度も繰り返す必要があります[26]。 パラメーター更新に、設計された勾配ではなく、より効率的であることが示されているLSTM [25]または強化学習[26]に基づく学習された勾配を使用して、マシンに適切な最適化アルゴリズムを自動的に学習させることを試みています。 多くの手動で設計された最適化アルゴリズムよりも正確で頑強です。
評価学習
特定の問題に対してソリューションが作成されたら、その品質と使いやすさを知るためにソリューションを評価することが重要です。多くの評価方法は、手動で設計されたルールベースの指標です。精度、適合率、再現率、F値、NDCG、MRRなどの一般的に知られている指標以外に[14]、研究者は特定のタスクに合わせた指標を設計することもあります。ただし、評価方法を手動で設計するには時間がかかり、設計された指標を他のタスクに一般化するのが難しい場合があります。
評価学習は、マシンにタスクの評価プロトコルを自動的に設計させることによって問題を解決することを目的としています。たとえば、自動対話評価モデル（ADEM）は、対話研究の自動評価手順を学習し[28]、[29]は、人間と機械で生成された画像のキャプションを区別するために直接トレーニングされる学習ベースの識別評価指標を提案しました。 さらに、因果的機械学習の最近の進歩により、反事実的推論に基づいてAIシステムを評価することを学習することが可能になりました[76]。一部のシミュレーションベースの評価アプローチは、評価学習にも役立ちます。これにより、シミュレーション環境でロボティクス[77]やレコメンダーシステム[78]などのインテリジェントエージェントを評価するためのシミュレーションプラットフォームが構築されます。評価学習は、評価プロトコルの設計や評価サンプルの収集における手作業を軽減するのに役立ちます。
問題学習
問題学習は、自動化されたAIパイプラインに向けたパズルの最後の欠けている部分です。これは、解決すべき問題を積極的に発見して定義することを目的としています。 問題学習は、それが機械の自由意志に向けた重要な要素であるという意味で独特です。 パイプラインの他のコンポーネントは、主に特定の問題を解決する方法に焦点を当てていますが、問題は依然として人間、特にドメインの専門家によって識別および定義されているため、解決する問題には焦点を当てていません。 これに対して、問題学習は、解決したい問題を決定する能力と柔軟性をマシンに与えることで、インテリジェントマシンの動作を促進します。これは、主観的な意識への大きな一歩です。
問題学習
問題学習を正式に定義するために、ソリューション（S）、問題（P）、および問題学習（PL）の3つの段階的な概念を示します。
ソリューション
さまざまなAIタスクの場合、ソリューションは非常に異なる形式を提示する可能性がありますが、抽象的には、ソリューションは通常、質問を回答に投影するマッピングとして表すことができます。
概念をよりよく理解するために、例として感情分類を使用します。ここで、質問セットQ = {検討中のすべての文}と回答セットA = {ポジティブ（+）、ニュートラル（0）、ネガティブ（-）}です。感情分類のさまざまな方法を開発でき、最終的なソリューションは、QからAへのマッピングであり、Qの各文に感情ラベルを割り当てます。
重要な注意点は、解の数学的形式としてマッピングを使用することは、重要な仮定を意味することです。つまり、質問セットQの各要素は、マッピングの数学的定義に従って、回答セットAの1つの要素にのみマップされます。ただし、一部の問題は、第一印象から、マッピングの定義に違反する1対多のマッピングの解決策を必要とする場合があります。たとえば、多くの検索または推奨タスクでは、ソリューションとしてランキングリストが必要です。これは、（順序付けられた）要素のセットです。例として検索エンジンを考えてみましょう。Qはすべての可能なクエリのセットであり、Aはすべての可能なドキュメントのセットです。クエリq∈Qの検索結果は、クエリqに関連するドキュメント{d}⊆Aのサブセットになります。ただし、Qの要素をAの多くの要素にマッピングすることは、マッピングの定義によって禁止されています。この問題を解決するための1つの可能な方法は、集合値マッピングを使用することです。つまり、SをQ→2Aとして定義できます。ここで、2AはAのべき集合です。このように、ソリューションSはクエリをマッピングするマッピングです。
シナリオに応じて、ソリューションは、関数S（f）、アルゴリズムS（a）、モデルS（m）など、さまざまな形式のマッピングとして提示できます。関数は、質問を回答にマッピングするための最も便利な方法であり、この形式は、物理学や機械工学などの科学および工学で最も広く使用されています。しかし、多くのソリューションは、特にコンピューターサイエンス、特にAIでは、関数として表現するには複雑すぎる可能性があります。この問題を解決するために、アルゴリズムは、関数の複数のステップと見なすことができるプロシージャを介して質問を回答にマップします。このアルゴリズムタイプのマッピングは、理論計算機科学およびアルゴリズム研究で最も広く使用されています。他のいくつかのケースでは、マッピング関数が存在しますが、関数の正確な分析形式を見つけるのは非常に困難です。このような場合、普遍近似定理（UAT）[79、80、81]により、マッピング関数をディープニューラルネットワークなどのモデルアーキテクチャとして初期化し、観測または反事実に基づいてモデルのパラメータを「学習」します。したがって、最終的に学習されたモデルは、質問から回答へのマッピングとして機能します。このモデルタイプのマッピングは、AI / ML研究で最も広く使用されています。多くの場合、多くの問題とその解決策は複雑であるため、マッピングは関数、アルゴリズム、およびモデルの組み合わせです。
もう1つの注意点は、ソリューション自体の定義は、ソリューションの品質について何も意味しないということです。解決策は良いことも悪いことも、愚かなこともありますが、それらはすべて解決策になる可能性があります。良い解決策を探すことは、「何が良いか」の定義、つまり評価方法に依存しますが、解決策の定義には、その一部としての評価は含まれません。代わりに、ソリューションがどれだけ優れているかを判断するのは評価モジュールです。評価モジュールは、ニーズに応じて必要な視点からソリューションを評価できるため、ソリューション自体からはほとんど独立しています。さらに、特定の問題に対する適切な解決策を探すことは、表現、モデル、損失、オプティマイザーなどを通じて既存のAI手法の重要な焦点です（Fig. 1）。
問題
潜在的な回答セットAが事前定義されているか、まだ検出されていないかに応じて、問題は決定論的または非決定論的な方法で定義できます。
問題学習の文脈では、決定論的問題とは、問題に対する潜在的な答えがわかっている問題です。決定論的問題の場合、質問は、潜在的な回答が「はい」または「いいえ」である一般的な質問、または多くの可能な回答を認める特別な質問のいずれかですが、いずれの場合も、潜在的な回答セットが提供され、問題は間の適切なマッピングを見つけることだけです。一方、非決定論的な問題の場合、回答セットは不明であり、回答セットを見つけることは問題の一部です。
例として画像分類を取り上げると、決定論的問題設定では、質問セットの質問は、「この画像は猫ですか」などの一般的な質問であり、この場合、回答セットA = {はい、いいえ}です。質問セットは、「画像のクラスは何ですか」などの特別な質問で構成することもできます。この場合、A = {猫、犬、馬、···}などの決定論的問題として認定するには、回答セットを提供する必要があります。 回答セットが不明であり、回答セットを見つけることが問題の一部である場合、それは非決定論的な問題になります。厳密な類推ではないですが、機械学習のコンテキストで、典型的な決定論的問題は分類などの教師あり学習であり、典型的な非決定論的問題はクラスタリングなどの教師なし学習です。
問題学習
基本的に、問題学習は問題を解決することではなく問題を提案することを目的としていますが、提案された問題は有効で倫理的でなければなりません。これは、制約が妥当性と倫理要件で構成されている制約付き学習問題と見なすことができます。問題学習は提案された問題を直接解決するわけではありませんが、「有効」の重要な側面の1つは提案された問題がまったく解決可能かどうかであるため、問題の解決と密接に関連している可能性があります。ただし、多くの場合、問題を解決できるかどうかを判断するために実際に問題を解決する必要はありません。代わりに、問題の解決に真剣に取り組む前に、さまざまな方法を採用して問題の解決可能性をテストできます。
新しい問題は既存の問題の合成であり、人間はそのような問題を簡単に思い付くことができるます。実際、画像感情の分類など、異なるが類似した問題に関するいくつかの研究がすでに行われています[82、83、84]。ただし、問題学習を自明でないシナリオに適用すると、想像を超える新しい問題が見つかる可能性があります。たとえば、エージェントは、Webまたはサイバーフィジカルシステムでのユーザーの行動分析を通じて、ヒューマンマシンインタラクションの新しい問題を見つける可能性があります。代謝指標の組み合わせで集合的な異常検出を行うことにより、研究する価値のある新しい健康上の問題や現象を検出します。または、環境と対話するときに予測する価値のある新しい信号を発見します。おそらく、問題学習の最もエキサイティングなアプリケーションシナリオの1つは、物理学、化学、生物学、薬物発見、医学研究などの自然科学研究と、経済学、心理学、社会学などの社会科学研究の両方を含む科学発見です。これらの分野では、問題を解決しなくても、新しく意味のある問題を提起することで、研究者の見方が大きく変わり、新しいアイデアや研究の方向性が刺激される可能性があります。 1つの例は、失敗からの問題学習です。エージェントが、既存の方法を使用しても何かをうまく予測できないことがわかった場合、調査する価値のある新しい問題が発生する可能性があります。
問題学習は、コミュニティのギャップを埋めるのに役立つという観点からも重要です。現代の学問の世界では、人間の知識の量は数百年前に比べて指数関数的に増加しており、したがって、どの研究者もすべての分野の知識を所有することはほとんど不可能でした。その結果、あるコミュニティが問題の定義や問題を解決するための手法を大幅に進歩させたにもかかわらず、別のコミュニティが古い問題の定義を採用したり、古い手法を使用して問題を解決したりすることがよくあります。問題学習エージェントは、さまざまな分野から集約されたグローバルな問題空間を維持することにより、コミュニティのギャップを減らすのに役立ちます。あるコミュニティで問題を提起する場合、エージェントは他のコミュニティの問題定義からの洞察を活用します。問題学習エージェントの助けを借りて、あるコミュニティの研究者は、ホームコミュニティで解決すべき重要な問題を特定しようとするときに、ホームコミュニティや他の単一のコミュニティの問題や技術の範囲に限定されません。
1つの有用な議論は、決定論的問題学習と非決定論的問題学習の関係です。それらの主な違いは、問題学習エージェントが発見された問題の回答セットの候補を提供するかどうかです。これは、問題を提起することの難しさと問題を解決することの難しさ（または質問をすることと質問に答えること）の間のトレードオフの可能性を意味します。候補者の回答を提供せずに（未解決の）問題を提起することは簡単かもしれませんが、回答セットを探すことが問題解決手順の一部になるため、そのような問題を解決することは困難になります。一方、問題を提起し、その間に候補者に回答を提供することは難しいかもしれませんが、問題の解決はより簡単になります。素朴な例として、回答セットが{Yes、No}として提供されている場合、ランダムな推測ポリシーでも質問に正しく回答する確率は50％ですが、質問に正しく回答しても、ソルバーが質問を本当に理解しているとは限りません。 全体として、問題学習についての次のフリーランチなしの予想を提示します。
何がよい問題か？
問題学習は、制約のある学習タスクと見なすことができます。 上で述べたように、良い問題は有効で倫理的である必要があります。
妥当な問題
・数学的妥当性
数学的妥当性は、主に問題が解決可能かどうかに関係します。通常、問題学習エージェントは、エージェントが実際的な影響をもたらすことを期待しているため、解決できる可能性のある問題を提起することを期待しています。ただし、特に理論的な観点から、多くの解決できない問題も新しい洞察や新しい発見を刺激する可能性があるため、重要であることを認識しています。数学的妥当性は、1）モデルの観点から、ターゲットの予測可能性を考慮することができ、2）問題の観点から、問題の解決可能性を考慮することができるという2つの観点で説明できます。
正しい予測を行う能力は、人間が追求する最も代表的なタイプの知性の1つです。多くの問題は、人間またはシステムの動作の予測、オブジェクトの動きの予測、対象アイテムの特定のプロパティの予測など、ある種の予測問題として定式化できます。多くのモデルは、可能な限り正確な予測を行うことを目的として開発されていますが、理論上の制約により、一部のターゲットが予測できない場合があることに注意する必要があります。一部の問題は予測結果の偏差にあまり敏感ではない可能性がありますが、他のいくつかの問題は予測結果の偏差に敏感である可能性があります。結果として、問題学習エージェントが予測タイプの問題を提起する際の予測可能性テストを通じて予測可能性[98、99]を特定できれば、それが最善であると考えられます。
・社会的妥当性
問題の妥当性は、社会的観点からも考慮する必要があります。ある社会的状況での有効な問題は、別の社会的状況では有効でない場合があります。社会的状況の影響も時間的にあるいは空間の点で異なる可能性があります。たとえば、位置追跡と予測は、プライバシーの懸念から通常の状態で生活する通常の人にとっては無効な問題である可能性がありますが、危険な領域または危険な状態で働く特定の労働者にとっては、位置追跡と予測は、彼らの安全を守るために非常に重要な問題になる可能性があります。結果として、問題学習エージェントは、問題が提案されている社会的状況に応じて有効な問題を提起できるはずです。先見の明のあるエージェントは、現在は妥当でないと思われる問題を提起する可能性もありますが、将来的には妥当になる可能性があるため、早期に検討することをお勧めします。
倫理的問題
自由意志のある機械が人間を傷つけるのではなく、人間を助けることができることを願っているので、問題学習における倫理的配慮は非常に重要です。 これには、AIが、非悪意、責任、社会的に有益であり、人間の尊厳を擁護する問題を探す必要があります。 問題学習の倫理的制約は、透明性と説明可能性、公平性と正義、説明責任と堅牢性、プライバシーとセキュリティなど、いくつかの側面で検討できます。
・透明性と説明可能性
理想的な問題学習エージェントは、特定の問題が発生した理由と、その問題が重要であるか解決する価値がある理由を説明できます。これは、人間がエージェントの動作を理解し、インテリジェントマシンとの信頼関係を構築するのに非常に役立ちます[74、100]。過去数年にわたって、線形回帰[62]、決定木[101、102]、明示的因数分解[75]などのモデル固有の説明方法や、反事実などのモデルに依存しない説明方法など、多くの説明可能なAI方法が開発されてきました。ただし、ほとんどの方法では、問題の観点ではなくモデルの観点で説明可能なAIについて説明します。つまり、ほとんどの場合、意思決定モデルがどのように機能するかを説明することに焦点を当てていますが、問題が重要であるか解決する価値がある理由については説明していません。結果として、これらの方法では、問題生成プロセスの内部メカニズムを説明できる場合がありますが、問題を気にする必要がある理由を説明できない場合があります。問題学習のコンテキストでは、後者の方がさらに重要です。問題が重要である理由についての適切な説明は、人間が提起された問題の洞察を理解し、どの問題を処理する必要があるか、どの問題をより適切に決定するのに役立つためです。
・公平性と正義
問題学習エージェントは、特定の個人または特定のグループの人々を差別したり、不当に扱ったりする可能性のある問題を提起しないように注意する必要があります。近年、AIの公平性が研究者から注目されています。ただし、AIの公平性に関する現在の研究は、ほとんどがモデルレベルまたは結果レベルで行われています。つまり、通常、機械学習モデルの公平性またはモデル決定結果の公平性に焦点が当てられていますが、問題レベルの公平性は、問題の定義が公平であるかどうかを考慮する必要があります。
・説明責任と頑強性
問題学習により、機械は重要だと考える問題を定義して解決することができます。 ただし、問題学習エージェントは、悪意のある攻撃や操作に対して脆弱である可能性があります。 解決すべき問題を自由意志で探求するインテリジェントなマシンは、不誠実な個人またはエンティティによって操作された場合、非倫理的または有害な問題を作成するように指示される可能性があるため、人間にとって非常に危険です。 結果として、問題学習の説明責任と頑強性は非常に重要であり、問題学習エージェントは予期しないエラーを処理し、攻撃に抵抗し、一貫した結果を生み出すことができるはずです。
・プライバシーとセキュリティ
問題学習では、ユーザーのプライバシーにも配慮し、保護された情報のセキュリティを保証する必要があります。 その理由は、生成された問題の説明によって、特定の個人またはグループの個人情報が明らかになる可能性があるためです。特に、ユーザーが生成したデータの処理に関連する問題の場合はそうです。 その結果、個人情報や機密情報を扱う場合、問題学習エージェントは、データ漏洩を回避し、ユーザーのプライバシーを保護し、安全で責任ある方法で問題を提起するように注意する必要があります。
問題学習への可能なアプローチ
問題学習へのアプローチは、大きく2つのタイプに分類できます。微分可能問題学習（∂PL）と非微分可能（離散）問題学習（∂PL）です。 微分可能な問題学習は、連続空間での学習を通じて新しい問題を作成しますが、微分不可能な問題学習は、個別の問題分析または最適化を通じて新しい問題を作成します。
失敗からの問題学習
現在のAI研究パラダイムでは、研究者は通常、問題を定義してから、問題を解決しようとするさまざまなモデルを開発します。既存のモデルで問題をうまく解決できない場合、研究者は通常、既存のモデルでは不十分であると想定する傾向があり、したがって、より良いモデルを設計するためにより多くの努力を注いでいます。ただし、既存のモデルで問題をうまく解決できない場合は、モデルが十分でないためではなく、問題自体が明確に定義されていないため、つまり問題が正しい方法で質問されていない可能性があります。結果として、より良いモデルを設計するために努力を費やすのではなく、問題をより良い方法で定義する方法を考えることがおそらくより重要になります。実際、問題と方法を繰り返し洗練する能力は、多くの研究分野、特に自然科学研究の基本的なスキルであり、このスキルはインテリジェントマシンによって取得される必要があります。失敗から学ぶ問題は、この目標を目指しています。エージェントが既存のモデルに基づいて特定の問題の予測精度などの満足のいく結果を生成できない場合、エージェントが問題定義に可能な変更を提案できると非常に刺激的です。この新しい定義があれば、既存のモデルは新しい問題に対して非常にうまくいくでしょう。
探索からの問題学習
失敗からの問題学習は、既存のアンカー問題に基づいて新しい問題を生み出します。問題学習への別のアプローチは、探索から学ぶことです。このアプローチは、特定のアンカー問題に依存しません。代わりに、エージェントは、データセットの探索や環境との対話などのアクティブな探索によって、有効で倫理的な問題を発見することを目的としています。 1つの例は、以前は無視されていたデータから、予測可能またはほぼ予測可能な信号を積極的に発見することです。単一機能信号の予測可能性を調査することは出発点ですが、多くの単一機能信号はドメインの専門家によってすでに手動で調査されているため、それは些細なことのように見えるかもしれません。ただし、シングルの特定の組み合わせの予測可能性を調査することは簡単ではありません。各信号を個別に予測できない可能性がありますが、特定の方法で集約すると、結合された信号は予測可能になります。
構成による問題学習
問題の構成は、より小さく、明確に定義された既知の問題のシーケンスで構成される、より大きく、より野心的な問題を構築することを目的としています。シーケンス内の小さな問題はそれぞれ、解決された場合、次の問題の解決を可能にするいくつかの有用な情報を提供します。問題の構成は、いくつかの小さな問題をまとめるほど単純ではありませんが、小さな問題間の関係と、それらが互いにどのように影響するかを慎重に検討する必要があります。優れた問題学習エージェントは、問題間の関係を識別し、それらを正しい方法で接続して、有効な問題に到達できるようにすることができます。問題の構成は、計画の逆のプロセスと見なすことができます。計画では、目標の問題が与えられ、エージェントは、目標に到達するために、問題をいくつかの小さくて簡単に解決できる問題に分解する必要があります。一方、問題の構成では、エージェントにはいくつかの小さな解決可能な問題が提供され、有効なより大きな問題を提案することを目的としています。
生成による問題学習
多くの既知の問題は、新しい問題に一般化できます。問題の一般化は、既知の問題から始まり、問題の説明にある主語、述語、または目的語の代替案を調査することによって、問題を新しい問題に一般化します。たとえば、エージェントが消費者の購入予測がeコマースで有効な問題であることを知っている場合、消費者の返品または消費者の苦情予測の問題に一般化し、問題の有効性を判断するために予測可能性テストを実施する場合があります。一般化による問題学習は、失敗からの問題学習と関連しており、一般化によって新しい問題が生成されると、慎重に設計されたモデルで十分に解決される場合とされない場合があります。問題をうまく解決できない場合は、失敗から学習した問題を使用して、問題の定義をさらに洗練させます。
問題探索
上記のアプローチは、問題が平易な言葉で記述されていることを前提としています。ただし、問題はグラフなどの数学的構造を使用して表すことができます。たとえば、「人間」、「顔」、「分類」、「予測」、「猫」、「犬」、「消費者」などのさまざまな概念をグラフの潜在的なエンティティとして使用し、それらの間のエッジ接続を使用できます。通常、このようなエンティティは質問セットQから取得されます。問題をグラフとして表すことができたら、問題アーキテクチャ検索（PAS）アルゴリズムを開発して、有効で倫理的な問題を検索できます。これは、最適のモデル構造を検索するニューラルアーキテクチャ検索（NAS）と同様です。PASは強化学習に基づいて実装でき、報酬信号は、生成された候補問題の妥当性と倫理をチェックすることによって提供できます。問題検索をより制御しやすくするために、問題検索に使用される概念のセットを制御して、エージェントが概念のターゲットセット内で問題を生成できるようにする場合があります。
問題の検索は、概念レベルを超えて実行される場合もあります。たとえば、前述のように、構成による問題学習は、問題検索を通じて実装できます。具体的には、各ユニット問題はグラフ内のエンティティと見なすことができ、PASを採用して、ユニット問題の有効で倫理的な構成を検索し、より大きく、より野心的な問題を構築できます。これは、モジュール化されたアーキテクチャ検索手順と見なすことができます。
メタ問題学習
問題の範囲は無限であり、問題の定義はそれぞれ異なりますが、多くの問題に共通するいくつかの類似点と共通の構造が存在する可能性があります。メタ問題学習は、「メタ問題」などの共通な構造を学習するのに役立ちます。メタ問題は、新しい問題を誘発するために使用できます。
メタ問題学習は、いくつかの観点から有益です。まず、一見異なる問題から類似点を抽出して、優れた問題構造を発見するための共同的な学習効果を可能にするのに役立ちます。教師あり問題学習設定の下で、つまり、既知の有効で倫理的な問題の集合が教師として提供される場合、そのような共同的学習効果は、エージェントが教師から「妥当性」と「倫理」の潜在的な定義を学習し、それらをエンコードするのに役立ちます。メタ問題から引き起こされた特定の問題が、妥当性と倫理の要件を簡単に満たすことができるようにします。第二に、さまざまな異なるドメインからメタ問題を学習し、学習したメタ問題から特定の問題を生成することにより、クロスドメイン問題学習または問題転送学習を可能にするのに役立ちます。最後に、ドメインに依存しないメタ問題構造を学習することにより、問題検索を最初から実行するのではなく、メタ問題から微調整することにより、問題アーキテクチャ検索の効率を向上させることができます。
この記事に関するカテゴリー
