斯坦福李飞飞新作登 PNAS：AI 与人类互动才能提高智能水平

人类从与他人的互动中研习，而目前的人工智能却频频只可正在与社会阻隔的处境中研习。因此当咱们把一个智能体放到可靠全邦中时，它会不成避免地正在碰到巨额新的数据，无法应对连接转移的新需求。

正在这项劳动中，研讨团队将社会化 AI 步地化为一个加强研习的流程，即智能体通过从社会互动中获取的奖赏来研习识别有消息量的题目。正在一个视觉问答义务的测试中，与其他智能体比拟，社会化智能体识别新视觉消息的机能降低了 112%。

目前，正在迭代扩展模子本事时，主动研习是最常用的一个框架。它的对象是优化一系列标注哀求以获取新的数据，并将新数据将用于以尽恐怕少的哀求来降低模子的机能。

主动研习仍旧被步地化为加强研习的流程，个中，真正的人类脚色被移除，只假设存正在一个能为一起哀求供应标签的 预言机 。

假使纯粹的主动研习门径也能够通过社会处境中的互动来收罗新数据，但从用户角度看，他们并不原意充任 预言机 的脚色来做反复供应标签的劳动，这就粉碎了主动研习的基础假设。

因此，咱们务必摸索智能体真正与人交互的研习门径。要开采社会化的 AI，智能体不单要收罗数据来研习新观点，还要研习若何与人互动来收罗数据。

况且，智能体必要要正在交互研习（interacting to learn）和研习交互（learning to interact）这两个对象之间实行量度。这十分具有寻事性，由于智能体要遍历的恐怕交互空间是强盛的，唯有一部门社会交互空间是有效的，而且消息交互空间还会跟着智能体的研习经过而连接转移。

正在加强研习中，咱们将恐怕的交互步地化为手脚空间，将反应步地化为奖赏，须要数亿次交互本事得到具有消息量和亲社会的交互的子空间，这让许众研讨职员望而生畏。因此，目前从与人类交互中研习的门径，广泛只限制于人工标注或者小的劳动空间（如唯有几十个举动的逛戏和仿真处境）。

一个智能体被安顿正在社会处境 E= ( S，A，P，P0 ) 当中，它的对象是收罗数据，以尽恐怕少的交互来优化模子的机能；

A 是智能体能够倡导的与人交互的恐怕空间，如对话智能体能够扣问的一组语句，或呆板人智能体能够推行的一组举动。；

总结而言，如此一个迭代加强研习的流程囊括三个主要的方面：更始底层模子、发明社会典型、更新交互战略。它们贯穿戴智能体的统统性命周期。

个中，智能体正在人们恐怕会或恐怕不会做出消息回应的社会处境中与人实行互动，从而更始底层模子。唯有当人的回应包括对智能体有效的新消息时，回应才是有效的。于是，智能体务必与处境中数十万人的单次交互，从落选择可能激励对模子有效的新观点的社会互动。

为了均衡智能体的交互研习和研习交互两个对象，咱们能够引入常识奖赏（knowledge reward）来辅导智能体实行交互以得到有效的新观点；同时采用交互奖赏（interaction reward）来辅导智能体实行相符处境中社会典型的交互。

正在行使新观点更始模子的根柢上，智能领略更新其战略，初步研习若何就人们有兴味回应的新观点提出题目，来更始自己机能还比力差的部门。

为了验证社会化 AI 框架正在揣测机视觉中的适用性，作家正在照片共享社交搜集使用 Instagram 上铺排了一个社会化智能体，它向人们提出自然措辞题目，并从人的回应中提取谜底，收罗视觉常识。

这种行使自然措辞来获取视觉常识的门径，能够用来测试许众揣测机视觉识别义务，如对象检测（ 图像中有什么？）、细粒度识别（ 花瓶里是什么花？）、属性分类（ 这张桌子是用什么质料做的？）、常识库推理（ 这份食品是素食吗？）和常识推理（ 这张照片是正在冬天拍摄的吗？）等等。

正在这项劳动中，研讨团队打算了一个揣测机视觉问答模子，其输入是一张图像和相应的自然措辞题目，输出是一个自然措辞谜底。智能体提出的题目十分众样，如下图。

智能体的对象是从与人的交互中得到数据，降低模子识别视觉观点的本事。为了到达这个对象，智能体须要少许 奖赏 。如上文所述的框架，作家引入了常识奖赏和互动奖赏。

常识奖赏权衡模子的正在识别义务中确切定性。正在刚初步，识别模子不领会若何识别任何观点，但跟着看到的特定观点的拉长，它会对本人的判决越发相信。比方，假如人们助助智能体将图像中的动物识别为鹿，那么它的不确定性就会省略。

交互奖赏则辅导智能体的作为相符社区典型。如正在社交搜集中，人们更可爱答复较短的题目、供应到底常识以及回避模糊不清的题目。因此智能体的每一次交互城市被符号为踊跃（出现了新消息）或颓废（未得到新消息），从而被连接演练成亲社会的。

结果，是若何寻找有效的措辞交互题目。这是一个组合性的寻求题目。一种直接的门径能够将智能体的战略打算成一个从图像到提问的天生模子。跟着模子机能的擢升，消息交互的空间会连接转移，于是组合寻求流程须要屡屡反复。

为了使寻求流程更易于处置，作家行使现有的消息最大化变分自愿编码器来研习实际中人与人交互的外现：通过从新修设战略将输入图像映照到外现空间中，并通过打算解码器从外现空间映照到单词序列。

正在社会化 AI 的框架中，智能体同时有两个对象：一个倡导社交互动，让人们按照消息数据作出回应；另一个是通过收罗有效的数据来更始其根柢模子。这两个对象也成了智能体的评估目标。

开始，为了评估该智能体得到回应的本事，咱们须要衡量对它所提题目的消息回应率（Informative Response Rate），也便是它收到题目谜底（即得到有效的交互）的交互百分比。较高的消息回应率意味着对智能体对隐性社会典型有更好的明白，而较低的消息回应率则意味着人们不赐与回应，这会减慢乃至甩手智能体的研习经过。

其次，为了评估智能体识别新的视觉观点的本事，研讨职员行使由 Amazon Mechanical Turk 的注脚器收罗的 50104 个社交媒体图像、题目和谜底，组成测试集，来评估视觉识别模子确切凿率。

其它，为了比较和比力行使社会化 AI 框架所涉及的社会化智能体与其他智能体的区别，作家还铺排了一个仅行使交互奖赏的人类偏好智能体，一个仅行使常识奖赏的主动研习智能体，以及一个基线智能体。

这个基线智能体不成使预演练的交互外现行为举动空间，它同意微调和码器的参数，行使统统组合词汇空间行为举动空间。况且，它同时行使交互奖赏和常识奖赏，并异常增添了措辞修模奖赏，以鞭策它天生语法无误的措辞。

一起这些智能体都行使近端战略梯度（proximal policy gradients）实行演练，况且都行使好像数目的数据实行初始化，并具有好像的战略息争码器架构。

实践实行了 8 个月，每个智能体能够倡导起码 20 万次交互。当它们与人交互、并收罗新的视觉常识时，消息回应率和识别确凿率的转移结果阐明，社会化智能体整个上优于其他智能体。

如下图，正在 236000 次互动中，社会化智能体的消息回应率从最初的 22% 降低到 33%，相对降低了 50%。比拟之下，主动研习和基线智能体正在每次迭代后得到的回应较少，辨别为 6% 和 12.3%。

整个来看，基线智能体正在竭力摸索一起恐怕的措辞交互组合空间时，不成避免地会出现不连贯的题目，这导致了回应率的降落，并出现一个恶性轮回，从而无法识别有效的交互。回应率降落到 6% 自此，研讨职员将其终止。

主动研习智能体的缺欠则正在于它会提出更长、更难的题目，无法惹起热人们的兴味。比方，要答复 这些用具是为左撇子仍是右撇子打算的？ 这个题目，还得领会相闭特定用具的常识以及是否能够用任何一只手操作。

能够看到，现时实践中智能体的最高回应率是 33%，那么这一数值另有众少上升空间呢？研讨职员又实行了一项实践，礼聘标注职员来人工编辑题目，以扩展智能体得到回应的恐怕性。最终，智能体得到了 37% 的回应率，这代外了人类从既定社会处境中得到回应的均匀本事。因此，智能体另有 4% 的社交本事擢升空间。

与其他智能体比拟，社会化智能体能行使更少的交互来降低识别确凿率。它正在 236000 次交互中告竣了 39.44% 的模子机能（下图 B），从中收到了 70000 条回应（下图 C）。

比拟之下，主动研习智能体共倡导了 274893 次交互，但仅收到 30000 条回应，而且机能初步饱和，到达 31.4%，回应率也降落到 12.3%。

而人类偏好智能体每次交互固然城市收到更众回应，但它收罗的数据并没有改正视觉模子。由于它偏向于收罗一小部门题目的谜底，于是它的底层视觉模子初步过拟合，结果只天生与工夫闭连或与颜色闭连的输出。

结果，研讨团队对行使社会化智能体收罗的数据实行的演练与行使现罕睹据聚积的数据实行的演练作了比力。

结果阐明，前者的识别确凿率远高于后者，这阐述社会化智能体能够得到古板数据聚积不存正在的新消息。

总结一下，这项研讨的主要改进之处正在于它提出了一个智能体从与人的交互中研习的步地框架，并通过行使措辞交互的视觉模子验证了该框架的适用性。作家自负，这项劳动将有助于更寻常的交互式智能体的研讨。