那个在聊天中给数学家陶哲轩带来启发的GPT-4，最近又开始教机器人转笔了。

项目叫Agent Eureka，是由英伟达、宾州大学、加州理工学院和得克萨斯大学奥斯汀分校联手研发的。他们的研究结合了 GPT-4 结构的能力和强化学习的优势，让 Eureka 能设计出精妙的奖励函数。

GPT-4 的编程能力赋予 Eureka 强大的奖励函数设计技巧。这意味着，在大部分任务中，Eureka 自己设计的奖励方案，甚至比人类专家更出色。这让它能完成一些人类难以完成的任务，包括转笔、打开抽屉，盘核桃，甚至更复杂的任务，如抛接球，操作剪刀等等。

图片

图片

虽然目前这些都是在模拟环境中完成的，但这已经非常厉害了。

项目已经开源，项目地址和论文地址放在文末。

简单总结下论文的核心要点。

论文探讨了如何使用大型语言模型（LLM）来设计并优化机器学习中的奖励函数。这是一个重要的课题，因为设计好的奖励函数可以大大提高机器学习模型的性能，但是设计这样的函数是非常困难的。

研究人员提出了一种名为 EUREKA 的新算法。EUREKA 使用 LLM 来生成和改进奖励函数。在测试中，EUREKA 在 29 种不同的强化学习环境中达到了人类级别的性能，并在 83% 的任务中超越了人类专家设计的奖励函数。

EUREKA 还成功地解决了一些以前无法通过人工设计奖励函数解决的复杂操作任务，例如模拟「Shadow Hand」手部快速转笔的操作。

此外，EUREKA 提供了一种新的方法，可以根据人类的反馈生成更有效、更符合人类期望的奖励函数。

EUREKA 的工作方式包括三个主要步骤：

1. 将环境作为上下文：EUREKA 使用环境的源代码作为上下文，从而生成可执行的奖励函数。

2. 进化搜索：EUREKA 通过进化搜索迭代地提出和改进奖励函数。

3. 奖励反思：EUREKA 根据策略训练的统计数据生成奖励质量的文本总结，从而自动和有针对性地改进奖励函数。

这项研究可能会对强化学习和奖励函数设计领域产生深远影响，因为它提供了一种新的、有效的方法来自动生成和改进奖励函数，而且这种方法的性能在许多情况下超过了人类专家。

项目地址：https://github.com/eureka-research/Eureka

论文链接：https://arxiv.org/pdf/2310.12931.pdf