争取让机器获得自由意志
三个要点
✔️自动化机器学习管道，包括NAS
✔️在这种情况下，首先设置问题是最后的领域。
✔️概述基于问题的学习（PAS）的基本结构、实现方法和必要的制约因素
Problem Learning: Towards the Free Will of Machines
written by Yongfeng Zhang
(Submitted on 1 Sep 2021)
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Information Retrieval (cs.IR); Machine Learning (cs.LG)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的 。
简介
本文（白皮书）是概念性的，提供了引领未来的指导方针，并不包含任何具体的算法或实现。
一个机器智能管道通常由六个部分组成：问题、表示、模型、损失、优化器和评估指标。以情感或图像分类为例[1,2,3,4]，问题是将句子或图像分类为不同情感或图像类别的标签。为了解决这个问题，单词、句子或图像被转化为一种表征，如矢量[5]。然后用LSTM[6]或CNN[7,8]等模型处理这些表征，并将其输入交叉熵损失[9]等损失函数。它描述了当前的代表性和模型的质量。然后使用诸如反向传播[10]和随机梯度下降（SGD）[11]等优化器来优化最佳参数的损失。表征和模型可以被整合到一个综合的架构中[12]，其中的表征可以手工设计（如TF-IDF[13]）或自动训练（如单词嵌入[5]）。最后，可以用几个（通常是人工设计的）评价指标来评估任务，如准确率、拟合度、召回率和F-measure[14]。
已经有很多人尝试将管道的组成部分自动化。例如，表示学习[15,16,17,18]关注的是从数据中自动学习好的特征，模型学习（神经架构搜索或广义上的自动机器学习）[19,20,21]关注的是学习好的模型架构，损失学习[22,2324]是学习一个好的损失函数，优化学习[25,26,27]是自动寻找一个合适的优化算法，而评价学习[28,29]是基于学习的评价指标，而不是手工设计的基于规则的指标。而不是手工设计的基于规则的衡量标准。
另一方面，管道的一个关键组成部分--问题定义--在很大程度上仍未进行自动化审查。在目前的人工智能研究范式中，通常需要领域专家做出重大努力来识别、定义和制定研究或应用领域的关键问题，并且通常对问题进行分类、回归、生成分类, 回归, 预测, 排名这些问题通常以分类、回归、生成、预测、排名等标准格式之一进行形式化。相对复杂的问题通常被人工分解成几个步骤的相对简单的问题。例如，句子的生成可以表示为带有波束搜索的单词排名问题的几个步骤[43]，而知识图中的链接预测被评价为实体排名问题[30]。
从数据中自动发现研究和应用问题是有益的，因为它有助于识别隐藏在数据中不为领域专家所知的有效和潜在的重要问题，扩大在特定领域可执行的任务范围，并激发全新的任务。这对一系列新兴的人工智能领域尤为重要。这是因为，与传统的人工智能领域相比，研究问题通常被正式确定为 "标准 "任务，而新兴的领域可能会出现更多的未知数，这些问题可能难以确定。
本白皮书将问题学习描述为学会从数据或机器与环境的互动中发现和定义有效的和符合道德的问题。我们将问题学习形式化为对问题空间中有效和符合道德的问题的识别，并介绍了几种可能的问题学习方法，包括从失败中学习问题、从探索中学习问题、问题构成、问题概括、问题架构搜索和元问题学习。 此外，问题的定义通常与问题的评估密切相关，因为我们需要知道问题的潜在解决方案的成功程度。因此，我们通过学习评估问题，使问题定义和评估管道自动化。从广义上讲，问题学习是一种处理自由意志的方法
另一个同样重要的注意事项是问题学习中的伦理考虑。 赋予机器自由意志来定义它认为重要的问题，并不意味着人工智能应该有定义和解决问题的自由，而是说这是一个伦理问题。
分层的人工智能架构
从抽象的角度来看，一个现代的人工智能系统可以用一个分层的架构来表示，如图1a所示。在这个范式中，研究者或实践者首先定义感兴趣的问题。例如，问题可能是将一组图像、句子或图形分类为若干类标签，预测一个时间序列的未来值，或对一个特定问题的潜在答案进行排序。一旦明确界定了一个问题，研究人员通常会认识到如何评估问题的潜在解决方案。不同的指标被用来评估分类、预测和排名问题。接下来，研究人员设计一个损失函数，尽可能地反映问题的性质。同样地，不同的损失函数也用于不同类型的问题。为了对复杂的问题进行建模，可以使用几个损失函数或几个调整形式的损失函数的组合。
如图1b所示，架构中的许多组件都已自动化。 人工智能的长期愿景是使管道的所有组成部分自动化，以便机器能够自动识别问题（问题学习），自动建立问题的解决方案（表示学习、模型学习、损失学习、优化学习），最后自动评估解决方案（学习评估）。(学习评价)。问题学习是最后一块缺失的拼图，使机器能够自动识别它认为重要和值得解决的问题，也是实现机器自由意志的关键因素。另一方面，它也是管道的一个组成部分，需要在道德和负责任的人工智能背景下仔细考虑。这将确保自由意志机是有用的而不是有害的。
表达性学习
早期的智能系统主要使用人工设计的表示法。表征学习[16]使机器从数据中自动学习特征成为可能。通过端到端学习，一个深度模型在特定数据上被 "训练"。这允许检测训练数据中的潜在模式，并自动提取最具描述性和突出性的特征，通常以表示向量的形式出现[61]。提取的特征可以被组织成一个层次结构，以代表不同的抽象层次[16, 18]。表征学习大大减少了分层人工智能架构中最基本层的手工劳动（图1b）。
模型学习
自动化的模型设计是人工智能管道自动化的下一步。神经结构搜索（NAS）旨在让机器自动学习特定任务的最佳模型结构。在许多任务中，自动构建的模型结构可能与专家手工设计的结构相当，甚至更好[19, 20, 21,64]。
损失学习
损失函数决定了如何惩罚模型的输出，并提供一个信号来优化模型或表征参数，通常是通过反向传播。领域专家对问题的理解和系统规范的目标通常反映在损失函数中。损失函数可以是几个损失的组合，其形式为$L=\sum_i \lambda_i L_i$ ，用于联合考虑几个任务。另一方面，研究人员发现，如果损失不同，同一任务的表现也会有很大不同。例如，最近的研究发现，在许多任务中，对比度损失可能优于交叉熵损失[56,65]。要让机器自动学习一个任务的最佳损失函数，似乎很困难。损失学习旨在实现这一目标。通过从基本运算符中自动构建损失函数，并找到优于甚至好于手工设计的损失函数[22, 23, 24]，损失学习减少了损失设计中的人为努力。
学会优化
优化算法是学习模型和表征参数的关键。 算法设计是一个艰苦的过程，往往需要多次反复的构思和验证[26]。我们试图通过使用基于LSTM[25]或强化学习[26]的学习梯度，让机器自动学习一个合适的优化算法，这已被证明是更有效的，而不是为参数更新设计梯度。它比许多人工设计的优化算法更加准确和稳健。
评估和学习
一旦为一个特定的问题创建了一个解决方案，就必须对该解决方案进行评估，以了解其质量和使用的便利性。许多评价方法是人工设计的、基于规则的衡量标准。除了常见的指标，如准确度、拟合度、重现性、F值、NDCG、MRR等[14]，研究人员还可以针对具体任务设计指标。然而，手动设计评价方法可能很耗时，而且可能很难将设计的指标推广到其他任务中。
评价学习的目的是通过让机器自动设计一个任务的评价协议来解决一个问题。例如，自动对话评估模型（ADEM）为对话研究学习自动评估程序[28]，[29]提出了一个基于学习的判别性评估指标，该指标被直接训练来区分人类和机器生成的图像标题。 此外，最近在因果机器学习方面的进展使我们有可能学会根据反事实推理来评估AI系统[76]。一些基于模拟的评价方法也可以对评价学习有所帮助。这创造了一个模拟平台，用于在模拟环境中评估智能代理，如机器人[77]和推荐系统[78]。评价学习有助于减少设计评价协议和收集评价样本的人工努力。
基于问题的学习
问题学习是实现自动化人工智能管道的最后一块缺失的拼图。它的目的是积极主动地发现和确定要解决的问题。 问题学习的独特之处在于，它是走向机器自由意志的一个关键组成部分。 管道的其他组成部分主要关注如何解决一个特定的问题，但不关注要解决的问题，因为问题仍然由人类，特别是领域专家来确定和定义。 相比之下，问题学习通过赋予机器决定其要解决的问题的能力和灵活性，促进了智能机器的运行。这是向主观意识迈出的一大步。
基于问题的学习
为了正式定义问题学习，我们提出了解决方案（S）、问题（P）和问题学习（PL）三个步骤的概念。
解决方案
对于不同的人工智能任务，解决方案可能会呈现出非常不同的形式，但在抽象的情况下，解决方案通常可以表示为一种映射，将问题投射到答案上。
为了更好地理解这个概念，我们将以情感分类为例。这里我们有问题集Q={所有正在考虑的陈述}和答案集A={正面（+），中性（0），负面（-）}。可以开发出不同的情感分类方法，最终的解决方案是从Q到A的映射，给Q中的每个语句分配一个情感标签。
一个重要的注意点是，使用映射作为解决方案的数学形式意味着一个重要的假设。也就是说，根据映射的数学定义，问题集Q中的每个元素只映射到答案集A的一个元素。然而，有些问题在第一印象中可能需要一个一对多的映射解决方案，这违反了映射的定义。例如，许多搜索或推荐任务需要一个排名列表作为解决方案。这是一个（有序）元素的集合。作为一个例子，考虑一个搜索引擎，其中Q是所有可能的查询的集合，A是所有可能的文档的集合。查询q∈Q的搜索结果是与查询q相关的文档{d}⊆A的一个子集。然而，将Q的一个元素映射到A的许多元素是被映射的定义所禁止的。解决这个问题的一个可能方法是使用集值映射。也就是说，我们可以将S定义为Q→2A。其中2A是A的适当集合。这样一来，解决方案S就是一个映射，可以映射查询。
根据不同的情况，解决方案可以以不同形式的映射来呈现，如函数S(f)、算法S(a)或模型S(m)。函数是将问题映射到答案的最方便的方式，这种形式在科学和工程中使用最为广泛，例如在物理学和机械工程中。然而，许多解决方案，特别是在计算机科学中，尤其是在人工智能中，可能过于复杂，无法用函数来表达。为了解决这个问题，一个算法通过一个程序将一个问题映射到一个答案，这个程序可以被视为一个函数的多个步骤。这种算法类型的映射在理论计算机科学和算法研究中应用最为广泛。在其他一些情况下，存在一个映射函数，但很难找到该函数的确切分析形式。在这种情况下，通用近似定理（UAT）[79,80,81]允许我们将映射函数初始化为一个模型架构，如深度神经网络，并根据观察或反事实 "学习 "模型的参数。因此，最终学到的模型充当了从问题到答案的映射。这种模型类型的映射是人工智能/ML研究中最广泛使用的。在许多情况下，映射是函数、算法和模型的组合，因为许多问题及其解决方案很复杂。
另一点需要注意的是，解决方案的定义本身并不意味着解决方案的质量。一个解决方案可以是好的、坏的或愚蠢的，但它们都可以是解决方案。寻找一个好的解决方案取决于对 "什么是好的 "的定义，即如何评价，但解决方案的定义并不包括评价作为其一部分。相反，是评估模块决定了一个解决方案的好坏。评估模块在很大程度上独立于解决方案本身，因为它允许你从任何必要的角度评估解决方案，以满足你的需求。此外，通过表征、模型、损失、优化器等，为特定问题寻找合适的解决方案是现有人工智能方法的一个重要焦点（图1）。
问题所在
根据潜在的答案集A是预定义的还是尚未检测到的，问题可以以确定的或非确定的方式来定义。
在基于问题的学习中，确定性的问题是指问题的潜在答案是已知的。在确定性问题的情况下，问题可以是潜在答案为 "是 "或 "不是 "的一般问题，也可以是允许许多可能答案的特殊问题，但无论哪种情况，都提供了一组潜在答案，唯一的问题是在它们之间找到合适的映射。另一方面，在非确定性问题的情况下，答案集是未知的，找到答案集是问题的一部分。
以图像分类为例，在一个确定性的问题集中，问题集的问题是一般的问题，如 "这个图像是一只猫吗？"，在这种情况下，答案集A={是，不是}。一个问题集也可以由特殊问题组成，如 "图像的类别是什么？在这种情况下，A = {猫，狗，马，----。}等。要想把它定性为一个确定性的问题，你需要提供一个答案集。 如果答案集是未知的，而找到答案集是问题的一部分，那么它就是一个非确定性的问题。这不是一个严格的类比，但在机器学习的背景下，一个典型的确定性问题是监督学习，如分类，而一个典型的非确定性问题是无监督学习，如聚类。
基于问题的学习
基本上，基于问题的学习旨在提出问题而不是解决问题，但所提出的问题必须是有效的和符合道德的。这可以被看作是一个受限的学习问题，其中的约束包括有效性和道德要求。问题学习并不直接解决提出的问题，但可能与解决问题密切相关，因为 "有效性 "的一个关键方面是提出的问题是否可以解决。然而，在许多情况下，没有必要为了确定问题是否可解而实际解决。相反，你可以采用各种方法来测试问题的可解决性，然后再认真地去解决它。
一个新的问题是对现有问题的综合，人类可以很容易地想出这样的问题。事实上，关于不同但类似的问题，如图像情感的分类，已经进行了一些研究[82,83,84]。然而，当问题学习被应用于非琐碎的场景时，可能会发现超出我们想象的新问题。例如，代理可以通过分析网络或网络物理系统中的用户行为，发现人机互动的新问题。通过组合代谢指标的集体异常检测可以发现新的健康问题或值得研究的现象。或者发现与环境互动时值得预测的新信号。也许基于问题的学习最令人兴奋的应用场景之一是科学发现，它既包括自然科学研究，如物理学、化学、生物学、药物发现和医学研究，也包括社会科学研究，如经济学、心理学和社会学。在这些领域，即使没有解决问题，也会提出新的、有意义的问题，可以大大改变研究人员看待问题的方式，激发新的想法和研究方向。 一个例子是从失败中学习问题。如果代理人发现他们不能用现有的方法成功地预测某件事情，可能会出现一个值得调查的新问题。
从帮助填补社区空白的角度来看，基于问题的学习也很重要。在现代学术界，与几百年前相比，人类的知识量成倍增长，因此，任何一个研究人员几乎不可能拥有所有领域的知识。因此，经常出现这样的情况：一个社区在问题的定义或用于解决问题的方法方面取得了重大进展，而另一个社区却采用了该问题的旧定义或用旧方法来解决问题。问题学习代理可以通过维护一个由不同学科聚合而成的全球问题空间来帮助缩小社区之间的差距。当在一个社区提出一个问题时，代理人会利用其他社区的问题定义的洞察力。在问题学习代理的帮助下，一个社区的研究人员在试图确定本社区需要解决的重要问题时，不会局限于本社区或任何其他单一社区的问题和技术范围。
一个有用的讨论是决定性和非决定性问题学习之间的关系。它们之间的主要区别在于问题学习代理是否为被发现的问题提供了一个候选答案集。这意味着在提出问题的难度和解决问题的难度（或提出和回答问题的难度）之间可能存在权衡。提出一个（未回答的）问题而不提供候选答案可能很容易，但解决这样的问题就变得很困难，因为寻找答案集成为解决问题程序的一部分。另一方面，提出一个问题并同时向候选人提供一个答案可能更难，但解决这个问题就容易多了。作为一个天真的例子，如果答案集被提供为{是，否}，那么即使采用随机猜测政策，也有50%的机会答对问题，但答对问题并不一定意味着解题者真正理解了问题。 总的来说，我们提出了以下关于问题学习的无自由午餐的预测
什么是好的问题？
基于问题的学习可以被看作是一种受限的学习任务。 如上所述，一个好的问题需要是有效的和合乎道德的。
一个合理的问题
数学上的充分性
数学上的相关性主要是指一个问题是否可以解决。通常，问题学习代理被期望提出有可能解决的问题，因为代理被期望有实际影响。然而，我们认识到，许多无法解决的问题也很重要，特别是从理论的角度来看，因为它们可能激发新的见解和新的发现。数学相关性可以用两种方式描述：1）从模型的角度，可以考虑目标的可预测性；2）从问题的角度，可以考虑问题的可解性。
作出正确预测的能力是人类追求的最典型的智能类型之一。许多问题可以被表述为这样或那样的预测问题，如预测一个人或系统的行为，预测一个物体的运动，或预测一个目标物品的特定属性。尽管已经开发了许多模型，目的是尽可能做出最准确的预测，但应该注意的是，由于理论上的限制，一些目标可能无法预测。有些问题可能对预测结果的偏差不太敏感，而另一些问题可能对预测结果的偏差更敏感。因此，在提出预测型问题时，如果问题学习代理能够通过可预测性测试来识别可预测性[98, 99]，那是最好的。
社会关联性
一个问题的相关性也必须从社会角度考虑。在一个社会背景下有效的问题，在另一个社会背景下可能就不成立了。社会状况的影响也可能在时间或空间上有所不同。例如，由于隐私问题，位置跟踪和预测对生活在正常条件下的正常人来说可能是一个无效的问题，但对于某些在危险地区或危险条件下的工人来说，位置跟踪和预测可能是一个非常重要的问题，以保护他们的安全。因此，一个问题学习代理应该能够根据提出问题的社会环境提出有效的问题。有远见的代理人可能会提出一些今天看来不成立的问题，但这些问题在未来可能会变得有效，因此应及早考虑。
伦理问题
问题学习中的伦理考虑是非常重要的，因为我们希望自由意志的机器能够帮助人类而不是伤害人类。 这就要求人工智能寻找非恶意的、负责任的、对社会有益的、维护人类尊严的问题。 基于问题的学习的道德约束可以从几个方面考虑，包括透明度和问责制、公平和公正、责任和稳健、隐私和安全。
透明度和问责制
一个理想的问题学习代理可以解释为什么会出现一个特定的问题，以及为什么它是重要的或值得解决的。这对人类理解代理人的行为和与智能机器建立信任非常有用[74,100]。在过去的几年里，一些可解释的人工智能方法已经被开发出来，包括特定模型的解释，如线性回归[62]、决策树[101，102]和显式因式分解[75]，以及独立于模型的解释，如反事实的解释。然而，大多数方法是以模型而不是以问题来描述可解释的人工智能。也就是说，大多数人专注于解释决策模型如何运作，但没有解释为什么问题是重要的或值得解决的。因此，这些方法可以解释问题产生过程的内部机制，但它们可能无法解释为什么我们应该关心这个问题。在问题学习的背景下，后者甚至更为重要。这是因为很好地解释为什么一个问题是重要的，有助于人类理解所提出的问题的见解，并更好地决定哪些问题需要处理，以及哪些问题需要处理。
公平和正义
问题学习代理人需要注意，不要提出可能歧视或不公平对待特定个人或特定群体的问题。近年来，人工智能的公平性受到了研究人员的广泛关注。然而，目前关于人工智能公平性的研究大多是在模型或结果层面进行的。也就是说，重点通常是机器学习模型的公平性或模型决策结果的公平性，而问题层面的公平性需要考虑到问题定义是否公平。
问责制和稳健性
问题学习允许机器定义和解决它认为重要的问题。 然而，问题学习代理可能容易受到恶意攻击或操纵。 随意探索问题的智能机器对人类来说可能是非常危险的，因为如果被无良的个人或实体操纵，它们可以被引导去制造不道德或有害的问题。 因此，问题学习的责任性和稳健性非常重要，问题学习代理应该能够处理意外的错误，抵制攻击并产生一致的结果。
隐私和安全
基于问题的学习也必须考虑到用户的隐私，保证受保护信息的安全。 这样做的原因是，对所产生的问题的描述可能会透露出某一特定个人或群体的私人信息。这在与处理用户生成的数据有关的问题上尤其如此。 因此，在处理个人或敏感信息时，问题学习代理必须注意避免数据泄露，保护用户的隐私，并以安全和负责的方式提出问题。
问题学习的可能方法
问题学习的方法可以分为两个主要类型。可微分问题学习（∂PL）和非微分（离散）问题学习（∂PL）。 可分问题学习通过在连续空间的学习创造新问题，而非可分问题学习则通过个别问题分析或优化创造新问题。
从失败中学习问题
在目前的人工智能研究范式中，研究人员通常定义一个问题，然后开发不同的模型，试图解决这个问题。如果现有的模型不能很好地解决问题，研究人员通常倾向于认为现有的模型是不充分的，因此会投入更多的精力来设计更好的模型。然而，如果现有的模型不能很好地解决问题，可能不是因为模型不充分，而是因为问题本身没有明确的定义，也就是说，问题没有以正确的方式提出。因此，也许更重要的是思考如何以更好的方式定义问题，而不是花费精力去设计一个更好的模型。事实上，迭代完善问题和方法的能力是许多研究学科的基本技能，尤其是自然科学研究，这种技能需要由智能机器来获得。从错误中学习的问题旨在实现这一目标。如果代理不能产生令人满意的结果，例如基于现有模型的特定问题的预测准确性，如果代理能对问题的定义提出可能的改变，那将是非常令人兴奋的。有了这个新的定义，现有的模型对新问题会非常有效。
基于问题的探索学习
从失败中学习问题是建立在现有的锚定问题基础上的，以创造新的问题。问题学习的另一种方法是在探索中学习。这种方法并不依赖于特定的锚定问题。相反，代理的目的是通过主动探索，如探索数据集或与环境互动来发现有效的和符合道德的问题。 一个例子是在以前忽略的数据中主动发现可预测或接近可预测的信号。调查单一功能信号的可预测性是一个起点，但这似乎是微不足道的，因为许多单一功能信号已经由领域专家手工调查过了。然而，调查特定的单打组合的可预测性并不直截了当。也许不可能单独预测每个信号，但当以特定方式汇总时，综合信号就变得可预测。
基于问题的作文学习
问题组合的目的是建立更大、更雄心勃勃的问题，由较小的、定义明确的已知问题序列组成。序列中的每个小问题在解决后都会提供一些有用的信息，使下一个问题的解决成为可能。问题的组织并不像把几个小问题放在一起那么简单，但它确实需要仔细考虑小问题之间的关系以及它们如何相互影响。一个好的问题学习代理将能够识别问题之间的关系，并以正确的方式连接它们，从而得出一个有效的问题。问题的构成可以被看作是计划的反向过程。在规划中，给出了一个目标问题，代理人需要将该问题分解成一些较小的、容易解决的问题，以达到目标。另一方面，在问题组合中，代理人被提供了一些小的可解决的问题，目的是提出一个有效的大问题。
一代人的问题学习
许多已知的问题可以归纳为新的问题。问题概括从一个已知的问题开始，然后通过调查问题描述中的主语、谓语或宾语的替代方案，将问题概括为一个新问题。例如，如果一个代理知道消费者购买预测是电子商务中的一个有效问题，它可能会归纳为消费者退货或消费者投诉预测的问题，并进行可预测性测试以确定问题的有效性。通过概括化进行的问题学习与从失败中学习问题有关，当通过概括化产生一个新问题时，它可能被精心设计的模型充分解决，也可能不被解决。如果问题没有成功解决，从失败中学到的问题被用来进一步完善问题的定义。
问题搜索
上述方法假定问题是以普通语言描述的。然而，问题可以用数学结构（如图）来表示。例如，各种概念，如 "人"、"脸"、"分类"、"预测"、"猫"、"狗"、"消费者 "等，可以作为图中的潜在实体，它们之间有边缘连接。通常情况下，这些实体来自问题集Q。一旦问题被表示为一个图，就可以开发一个问题架构搜索（PAS）算法来搜索有效的和符合伦理的问题。这类似于搜索最佳模型结构的神经结构搜索（NAS）；PAS可以基于强化学习来实现，可以通过检查生成的候选问题的有效性和道德性来提供奖励信号。为了使问题检索更加可控，可以控制用于问题检索的概念集，使代理在目标概念集内产生问题。
问题检索也可以超越概念层面进行。例如，如上所述，通过组合的问题学习可以通过问题检索来实现。具体来说，每个单元问题都可以被看作是图中的一个实体，PAS可以被用来搜索单元问题的有效和道德的配置，以构建更大和更宏大的问题。这可以被看作是一个模块化的架构搜索程序。
元问题学习
虽然问题的范围是无限的，而且每个问题的定义都不同，但可能有一些相似之处和共同结构，是许多问题所共有的。元问题学习帮助你学习常见的结构，如 "元问题"。元问题可以用来触发新的问题。
元问题学习从多个角度来看都是有益的。首先，它有助于从看似不同的问题中提取相似性，以实现协作学习效果，发现优越的问题结构。在有监督的问题学习环境下，即提供一组已知的有效和道德问题作为教师，这样的协作学习效果可以帮助代理人从教师那里学习 "有效性 "和 "道德 "的潜在定义并对其进行编码。它保证了元问题所提出的具体问题可以很容易地满足有效性和伦理性的要求。其次，通过学习各种不同领域的元问题，并从学到的元问题中生成具体的问题，它有助于实现跨领域的问题学习或问题转移学习。最后，学习与领域无关的元问题结构可以提高问题结构搜索的效率，从元问题中微调问题搜索，而不是从头开始。
与本文相关的类别
