排名好的郑州网站建设制作动画网站模板

排名好的郑州网站建设,制作动画网站模板,保定网站优化哪家好,电脑自带的做网站叫什么今天为大家分享来自香港城市大学与华为诺亚方舟实验室的最新工作 ReasonRAG。该工作提出一种过程监督的 Agentic RAG 训练框架#xff0c;通过为模型推理的每一步提供细粒度的“过程奖励”#xff0c;显著提升了复杂推理任务的性能与效率。作者还为此构建了首个过程监督偏好数…今天为大家分享来自香港城市大学与华为诺亚方舟实验室的最新工作ReasonRAG。该工作提出一种过程监督的Agentic RAG训练框架通过为模型推理的每一步提供细粒度的“过程奖励”显著提升了复杂推理任务的性能与效率。作者还为此构建了首个过程监督偏好数据集RAG-ProGuide。该方法仅用 5k 数据就在多个权威评测集上超越了需 90k 数据训练的 SOTA 模型展现出极高的数据效率。相关代码与数据已开源。论文链接 https://arxiv.org/abs/2505.14069代码链接 https://github.com/Applied-Machine-Learning-Lab/ReasonRAG随着大语言模型LLMs不断在开放域问答与复杂推理任务中取得突破检索增强生成Retrieval-Augmented Generation, RAG成为连接语言模型与外部知识的重要桥梁。然而传统RAG系统多采用静态、线性工作流无法胜任需要多轮检索、多步思考的复杂任务。为突破这一限制“Agentic RAG”应运而生——它让模型能够自主决策是否检索、生成查询、抽取证据、合成答案在复杂推理中表现出更强的灵活性。近期如Search-R1等方法将强化学习引入Agentic RAG训练流程通过最终答案的正确与否作为唯一奖励信号取得了一定进展。但这类结果级奖励Outcome Reward方法依然存在三大痛点探索效率低奖励仅在完整推理结束后才反馈训练不充分梯度冲突严重后续错误会误伤前序正确推理步骤奖励稀疏且单一缺乏细粒度信号导致模型难以有效学习复杂策略。为此团队首次将过程监督强化学习方法系统性引入Agentic RAG训练流程构建出全新框架——ReasonRAG。该方法通过细粒度奖励机制、基于搜索的路径构建和偏好优化训练策略显著提升了模型在多跳问答、多轮推理场景下的能力。在多个权威评测集上ReasonRAG在仅使用5k训练数据的情况下就超越了使用90k数据训练的Search-R1。技术难点实现Agentic RAG过程监督优化面临两大核心挑战**如何定义高质量过程奖励**奖励不仅要判断模型推理是否正确更要引导其走出最短、最有效的路径。路径太长即使正确也不应被鼓励。**如何自动标注过程监督数据**高质量的中间步骤通常需要人工标注但这种方式耗时耗力、难以扩展。如何让模型自动生成有监督的中间推理步骤成为关键。方法ReasonRAG 由五个核心组件构成形成了从数据自动生成到策略训练、推理部署的闭环体系Figure 2a 展示了过程监督数据的构建流程包括SPRE奖励设计与MCTS路径探索Figure 2b 展示了ReasonRAG在Agentic RAG推理任务中的动态推理流程。整个框架可分为以下步骤使用**Shortest Path Reward EstimationSPRE**设计过程级奖励借助MCTS搜索算法在Agentic推理空间中探索高质量中间步骤自动生成过程偏好数据集RAG-ProGuide基于该数据集进行偏好策略优化DPO模型在推理时根据任务复杂度动态决定检索与回答流程。1. SPRE定义“最短路径奖励函数”传统的强化学习中reward通常只针对最终结果。但在Agentic RAG中每一步推理决策如生成查询或提取证据都会影响整体推理质量。因此ReasonRAG提出Shortest Path Reward EstimationSPRE为每一步决策分配一个过程奖励。该方法会对当前推理路径进行多次模拟Monte Carlo rollout模拟完整推理过程并评估其最终正确性与路径长度。SPRE通过惩罚冗长路径引导模型学会以更短、更精准的方式完成任务从而实现效率与准确性兼顾的学习目标。这种奖励机制为训练过程提供了高频、结构化、动态的反馈信号。2. MCTS在庞大推理空间中自动探索为了从海量可能的推理路径中找到优质策略ReasonRAG引入了经典的 Monte Carlo Tree SearchMCTS将整个Agentic RAG推理过程形式化为状态-动作树state-action tree并在该树上进行探索。在这一框架中模型的推理行为被抽象为三个主要阶段构成状态空间的核心Reasoning阶段模型判断当前是否应该生成新的查询进行检索还是直接生成最终答案。若生成查询则执行一次文档检索操作返回结果将追加至当前状态若直接生成答案则跳转至终止阶段。Grounding阶段从检索结果中抽取关键信息片段为接下来的回答或进一步推理提供支撑。完成后返回Reasoning阶段。Terminal阶段模型生成最终答案并结束推理流程整个推理轨迹完成。在每个推理步骤中模型根据当前状态依赖策略选择下一步动作。其策略定义如下在不同推理阶段模型依据不同的上下文信息决定行为生成方式。这种条件化动作生成方式为MCTS提供了稳定、灵活的搜索基础进而通过UCB策略平衡“探索新路径”和“利用高分路径”高效构建出覆盖多策略空间的推理轨迹。3. RAG-ProGuide过程监督数据集构建基于SPRE和MCTS作者构建了首个专为过程级奖励设计的Agentic RAG数据集RAG-ProGuide。该数据集从三个常见QA数据集中PopQA、HotpotQA、2WikiMultiHopQA采样4603个问题通过MCTSSPRE生成13,289对高质量过程偏好样本。这些样本覆盖三类关键行为查询生成Query Generation证据提取Evidence Extraction答案生成Answer Generation如上图所示RAG-ProGuide覆盖了单跳与多跳任务场景、多轮推理过程、多种类型的行为偏好对并反映了Agentic RAG系统在动态决策过程中的各个关键子任务。4. 偏好策略优化在拥有RAG-ProGuide数据集之后ReasonRAG使用Direct Preference OptimizationDPO进行过程级别的策略优化。5. Agentic RAG 推理流程ReasonRAG通过设计合理的**推理控制流Inference Pipeline**实现了模型的自主决策。整个流程以模块化方式进行模型可动态在多个状态之间跳转并在必要时调用外部检索器以辅助生成答案。模型从初始状态开始最多进行轮推理。在每一轮中模型依据当前状态调用策略函数决定接下来的动作如果处于 Reasoning 状态模型需判断是否继续生成查询或答案通过或进行标识。如果生成答案则进入Terminal状态生成query则调用检索器并进入Grounding状态如果处于 Grounding 状态模型需要根据Query从文档中提取以标识的相关证据并进入Reasoning状态实验结果性能对比论文在五个权威问答数据集上与12个SOTA方法进行了系统对比结果展示了ReasonRAG在数据效率、多跳推理和泛化能力上的显著优势数据效率高仅用5k训练样本ReasonRAG即在平均EM34.4%和F142.3%上超越Search-R1训练数据90kEM 32.8%F1 40.7%。过程奖励显著优于传统的结果奖励。多跳推理更强在HotpotQA上ReasonRAG以48.9%的F1分数超越AutoRAG43.7%和Search-R147.0%展现出强大的复杂推理整合能力。跨领域泛化能力好在Bamboogle和MuSiQue等挑战性测试集上ReasonRAG表现稳定领先显示其推理策略具备良好的迁移性与鲁棒性。训练效率ReasonRAG在PopQA、HotpotQA和2WikiMultiHopQA上的EM表现随GPU小时数增长始终快于Search-R1表明其更高的训练效率。优化策略实验进一步对比了不同优化策略的效果包括基础模型Base、监督微调SFT、结果监督ORL和过程监督PRL。结果显示ReasonRAG在所有数据集上均取得最佳性能表明过程奖励所带来的精细化反馈机制更有助于学习复杂的推理策略。搜索适应性ReasonRAG展示出出色的搜索控制能力对于简单任务自动快速终止对于复杂问题则执行多轮搜索推理。在不同的Top-k检索设定下模型表现出如下规律Top-1 时上下文信息不足性能受限Top-3 显著提升各任务表现Top-5 对PopQA和HotpotQA无进一步增益但对2WikiMultiHopQA这类多跳任务继续有效。这一结果表明ReasonRAG不仅能灵活适应任务复杂度还能高效利用额外检索信息尤其适合处理多源、多轮、多跳问题。总结与未来方向ReasonRAG 提出了一种基于过程奖励的 Agentic RAG 强化学习训练范式展现出在训练效率、复杂推理能力与泛化性能上的潜力。相比传统结果监督方法过程级监督提供了更细粒度、更稳定的优化信号尤其适用于多轮、复杂任务的学习。未来可进一步探索构建更丰富的过程奖励体系引入信息冗余惩罚等多维反馈信号推广至更多任务场景如多模态问答、代码推理、复杂工具调用等 agentic 应用那么如何系统的去学习大模型LLM作为一名深耕行业的资深大模型算法工程师我经常会收到一些评论和私信我是小白学习大模型该从哪里入手呢我自学没有方向怎么办这个地方我不会啊。如果你也有类似的经历一定要继续看下去这些问题啊也不是三言两语啊就能讲明白的。所以我综合了大模型的所有知识点给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢我就曾放空大脑以一个大模型小白的角度去重新解析它采用基础知识和实战项目相结合的教学方式历时3个月终于完成了这样的课程让你真正体会到什么是每一秒都在疯狂输出知识点。由于篇幅有限⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》扫码获取~大模型学习指南路线汇总我们这套大模型资料呢会从基础篇、进阶篇和项目实战篇等三大方面来讲解。①.基础篇基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念用最易懂的方式带你入门大模型。②.进阶篇接下来是进阶篇你将掌握RAG、Agent、Langchain、大模型微调和私有化部署学习如何构建外挂知识库并和自己的企业相结合学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。③.实战篇实战篇会手把手带着大家练习企业级的落地项目已脱敏比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等从而帮助大家更好的应对大模型时代的挑战。④.福利篇最后呢会给大家一个小福利课程视频中的所有素材有搭建AI开发环境资料包还有学习计划表几十上百G素材、电子书和课件等等只要你能想到的素材我这里几乎都有。我已经全部上传到CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】相信我这套大模型系统教程将会是全网最齐全 最易懂的小白专用课