加工Wuyuan缩放法律执行董事Shi Yunfeng可以吃所有免费的互联网数据货币。这些数据足以克服经典的NLP任务，但不足以使模型成为常见和可靠的代理。我们假设GPT -4O在互联网诞生之前对所有文本数据进行了培训，即使计算机功率足够，数据也不够。回顾过去20年的“痛苦课程”，改进的建筑一直是一小步，但是基于数据的创新可能会产生很大的影响。我认为这种趋势将继续下去。当今的强化学习（RL）是“ GPT-3时代”的类似范式。 RL数据集非常袖珍。例如，DepSeek -R1仅在RL培训中使用约600,000个数学问题。如果一个人花了五分钟的时间来完成每个问题，则相当于六年的DAND持续人才。相反，代币培训语料库的重建3000亿GPT-3代币需要数万个以正常写作速度写作的年份。施工评估和RL环境是使用人类时间的最佳杠杆和持久方法。欢迎来到评估时代：Brendan Foody原始链接：https：//mercor.com/blog/welcomme-the-te-ra-of-evals/reinforcement学习（RL）正在促进人工智能领域中最激动人心的进步。随着RL效应大大提高，该模型“将迅速闪烁所有现有的评论。这意味着在整个经济中真正部署代理的唯一障碍是一回事：建立所有评估。但是，AI Labs经历了“饥饿等级”。 “消费者和公司真正需要的任务是新的PRD。开发趋于统一，因为我们基于知识加速知识。我们将建立一个可以映射真实且可交付的工作场景的环境和评估系统。这种新的RL中心的人类数据范式比有效监督的（SFT），o（SFT），o更有效r rlhf。大多数知识任务本质上是可重复的工作流程。这是可变成本，当包装作为评估环境或系统时，可以将其转换为单个固定成本。 RL环境使用“验证奖励”进行培训。这使您可以同时获得最终结果和中间步骤。该模型多次尝试相同的问题，并在测试期间使用计算机食品使用“首先思考，然后回答”。由Humunthey撰写的自动化器将弥补这些“正确”的轨迹。通过不断加强这些“良好轨迹”，该模型可以学会解决正确的思维链解决各种问题。研究人员可以继续“提高”他们的资格。这些环境大约根据其“经过验证的程度”在频谱中。它具有游戏（Pac-Man，Chess，Go等）等客观域，清晰的状态空间，行动空间和客观结果。数学，编程的几个任务甚至生物学也可以在几乎游戏中得到验证。目标领域是RL赢得了重要胜利的战场：字母座椅，Alphafold，DeepSeek-R1和许多代码生成模型。在主观领域，很难量化某些任务的精度，例如创建投资备忘录，准备法律文件并提供心理治疗。这种类型的任务很难确定themodel是否达到了预期目标。此外，专家之间“过程和理想结果”的意见通常是多元化和共存的。在这种情况下，可以从人类专家意见的复杂性中学到基于评分标准的标准的奖励。这种基于评分标准的建筑环境和培训的方法是一个有希望的研究讲话，其早期基地源自人类项目的宪法AI（宪法）和RLAIF。计算机使用代理：计算机使用代理大多数人类任务MPUTER在开始时具有模棱两可的目标，但是一旦定义得很好，行为和结果都可以在编程上进行验证。这些任务包括计划旅行，响应电子邮件，在线购买和发布社交网络。通过集装环境，可以在线学习成千上万的平行相互作用，而水平扩展几乎没有限制。环境最终是一种体验。我们的AI系统可以自动从真正的信号中学习，例如更好的学生测试分数，销售等等。正如人类向他人学习一样，模型还必须指导他们了解哪些教学方法或销售策略更有效。人类仍然是模型学习环境中不可替代的部分。无法逃脱“数据时代”。您必须追逐我们的最前沿。在最前沿，人类建立的环境可以提供可持续的EmpiriCAL数据。这些环境都用于培训和评估。为了满足当前的数据危险，我们需要重新考虑“如何从人类工作中提取迹象”。施工评估和RL环境是使用人类时间的最佳杠杆和持久方法。 Mercorra带领以自动得分手的形式创建环境，并不断扩展RL数据的限制，例如“模拟工作空间，多峰值和多模式相互作用”。知识工作很快就会收敛。您可以创建环境和代理RL评估，并学习和发展它们。当AI真正进入工作场所时，它包含独特的信息，并且处于独特的专业环境中，这些环境环境“编辑”了智能机构中的知识和目标。一旦工作流程的每个步骤都是完全可靠的，剩下的唯一任务就是使人类成为由RL训练的北极星。重新学习（RL）推动了LT中最令人兴奋的进步o ia。 RL变得非常有效，因此该模型可以饱和任何评估。这意味着将代理商应用于整个经济的主要障碍是为所有事物建立EBAL。但是，AI实验室面临灾难性的缺乏相关评估。对实验室目标的学术评估并不能反映消费者和公司对经济的需求。 Vals是一个新的PRD。加速知识工作的进度在建筑环境中收敛，并评估地图绘制空间和真实的可交付成果。这种针对RL的新的人类数据范式比Preoin，SFT或RLHF更有效。大多数知识任务意味着重复的工作流，例如可变成本，但是在创建环境或评估时，它可以将其转换为单个固定成本。评估结果和中间步骤。该模型使用CTEST时间刀片在回答之前尝试考虑许多问题。人类创建的自动层次结构奖励了良好的尝试。加强这些良好的轨迹IE将改善用于实现答案的思想链。这教会研究人员对不同类型的问题进行正确的思考，因为他们反复避免了山丘的增加。可以认为这些环境存在于两个类别之间的刚性范围中。客观域：Pac-Man，Chess，Go具有清晰的空间，行动空间和所需的结果。数学，代码甚至生物学中的某些任务都可以非常接近与游戏类似的验证。这是RL在当前市场中使用字母隔板，Alphafold，DeepSeek R1和许多代码生成模型的成功取得了巨大成功的地方。将询问您的投资票据，创建法律报告，提供治疗等。这使得模型已经达到了所需的结果很难。此外，专家通常会支持有关所需过程和结果的多种有效意见。基于标语的奖励是一种方式F从专家人类意见的障碍中学习。评估和训练专栏作为环境的方法从根本上组织起来与宪法和RLAIF的工作一样快，这是一个令人兴奋的研究领域。对于人类在计算机上所做的大多数任务，目标开始变得模糊和多方面。定义后，操作和结果将是程序化和可验证的。其中包括计划旅行，电子邮件答案，购买或社交网络上的出版物。在所有这些情况下，在容器化的环境中，可以在线学习的水平量表可以在线学习。我们的系统会自动从现实世界的信号中学习，包括增加学生测试，销售完成，也许建造了桥梁。但是，一半 - 周期奖励总是很重要的。就像人类向他人学习一样，模型需要指导哪种教育和销售技巧更有效。人类cOntinue是模型学习的环境不可或缺的一部分。从数据时代无法逃脱。我们必须追逐边界。它的边界是人类创造的环境，提供了实验数据的持久来源。这些环境有助于训练和评估模型。促进当今需求的方法需要重新思考如何从人类努力中产生信号。评估和RL环境的创建是人们时间的最佳杠杆作用，也是最持久的使用时间。Melkor帮助使用自动啄食来生成先锋环境，继续使用模拟的工作空间，多重支持和多模态来推动RL数据限制。知识工作迅速融合以建立RL环境并评估用于学习的代理。当AI进入劳动力并超越您自己的信息时，这些环境在其自己的专业环境中编码了代理商的知识和目标。一旦个人进入代理的工作流程r每个足够的可靠性，剩下的一切都是在人类定义的目标中训练。 （转载：Wuyuan Capital 5y Capital）