研究人员提出了基于游戏的AI常识推理基准
在上周的国际机器学习大会上接受的一篇论文中,伦敦大学学院和牛津大学的研究人员提出了一个WordCraft环境,以对AI代理的常识推理能力进行基准测试。他们基于《小炼金术2》(Little Alchemy 2)这款游戏,任务是让玩家混合各种成分来创造新的物品,他们说WordCraft既轻巧,又基于现实世界语义启发的实体和关系。
正如研究人员所指出的那样,私人助理和家用机器人需要能够快速学习并能很好地推广到新情况的代理。如果没有能力使用常识和关于世界的常识来推理,这是不可能的。例如,负责执行普通家务却没有看到肮脏的烟灰缸的特工需要知道一系列合理的措施,包括如何清洁烟灰缸并避免将其喂给宠物。
WordCraft通过使代理制作700多个不同的实体(成分),并结合先前发现的实体(例如“水”和“地球”)以创建“泥浆”,来测试代理的常识推理。WordCraft中有3,417个有效的项目组合,并且座席必须使用有关概念之间关系的知识来有效地解决游戏问题,而不必尝试所有组合。通过随机采样目标实体,有效组成实体和干扰因素实体来创建每个任务,并且可以通过增加干扰因素的数量或增加必须创建的中间实体的数量来调整任务难度。
除了WordCraft之外,研究人员还介绍了一种代理程序体系结构,该体系结构利用外部知识图中的信息来指导代理程序的策略。(知识图是由主题专家在AI模型的帮助下创建的域的模型。)鉴于WordCraft中的配方基于常见实体之间的真实语义,研究人员认为,对知识图的条件应该通过将代理的学习限制于偏向于具有常识性语义的交互的策略,从而使代理能够更有效地学习。
在实验中,研究人员专注于零镜头泛化性能,将所有有效配方集分为训练集和测试集。他们还以与WordCraft相同的难度设置收集了人类基线,该基线是对使用常识和常识可以实现的零击性能的估计。
根据该团队的说法,尽管他们的座席体系结构与没有任何知识图谱的座席在更少的培训步骤中达到了同等的成功率,但随着培训的进行,它最终达到了可比的性能水平。“我们计划进一步探索多种途径。研究人员写道,将WordCraft扩展到原始的《小炼金术2》的更长视界设置(用户必须在其中找到尽可能多的实体)可能是研究常识驱动探索的有趣设置。“我们相信这项工作中的想法可以使更复杂的强化学习任务受益于与大量特定任务知识相关的任务,例如NLE。
今日中国·版权声明
本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同 其观点和对其真实性负责,也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。如 果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。
本网站所提供的信息,只供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。本网站及其雇员 一概毋须以任何方式就任何信息传递或传送的失误、不准确或错误,对用户或任何其他人士负任何直接或间接责任。在法律允许的范围内,本网站在此声明,不承担 用户或任何人士就使用或未能使用本网站所提供的信息或任何链接所引致的任何直接、间接、附带、从属、特殊、惩罚性或惩戒性的损害赔偿。
【特别提醒】:如您不希望作品出现在本站,可联系我们要求撤下您的作品。邮箱 sunny@chinatodayclub.com
相关文章
最新文章
-
2021-12-22
-
2021-12-22
-
2021-12-22
-
2021-12-22
-
2021-12-22
-
2021-12-22