网站建设 招标资质要求景安安装wordpress

网站建设 招标资质要求,景安安装wordpress,wordpress 文件目录,山西网站建设怎么样RAG是什么#xff1f; RAG#xff08;Retrieval-Augmented Generation#xff0c;检索增强生成#xff09;, 一种AI框架#xff0c;将传统的信息检索系统(例如数据库)的优势与生成式大语言模型(LLM)的功能结合在一起。不再依赖LLM训练时的固有知识#xff0c;而是在回答问…RAG是什么RAGRetrieval-Augmented Generation检索增强生成, 一种AI框架将传统的信息检索系统(例如数据库)的优势与生成式大语言模型(LLM)的功能结合在一起。不再依赖LLM训练时的固有知识而是在回答问题前先从外部资料库中“翻书”找资料基于这些资料生成更准确的答案。RAG技术核心缓解大模型落地应用的几个关键问题知识新鲜度大模型突破模型训练数据的时间限制幻觉问题降低生成答案的虚构概率提供参照来源信息安全通过外挂知识库而不是内部训练数据减少隐私泄露垂直领域知识无需训练直接整合垂直领域知识RAG核心流程2.1 知识准备阶段2.1.1 数据预处理a. 文档解析输入原始文档如Markdown/PDF/HTML操作提取纯文本如解析Markdown标题、段落处理特殊格式如代码块、表格、图片、视频等例如[标题] 什么是 ROMA [段落] ROMA 是一个全自主研发的前端开发基于自定义DSL(Jue语言)一份代码可在iOS、Android、Harmony、Web四端运行的跨平台解决方案。 [段落] ROMA 框架的中文名为罗码。 [标题] 今天天气 [列表项] 今天的室外温度为35°C天气晴朗。文档的解析过程需要考虑不同文档内容例如文本、图片、表格等场景以及文档的语言布局情况可以考虑使用一些优秀的三方工具或者一些视觉模型布局分析模型语义理解模型来辅助解析。b. 数据清洗与标准化处理提升文本质量和一致性使向量表示更准确从而增强检索相关性和LLM回答质量同时消除噪声和不规则格式确保系统能正确理解和处理文档内容。包括:去除特殊字符、标签、乱码、重复内容。文本标准化例如 时间、单位标准化如“今天” → “2025-07-17”。其他处理数据的清洗和标准化过程可以使用一些工具或NLTK、spaCy等NLP工具进行处理。例如:pROMA框架/p 处理 ROMA框架 今天的室外温度为35°C天气晴朗。 处理 2025-07-17 的室外温度为35°C天气晴朗c. 元数据提取关于数据的数据用于描述和提供有关数据的附加信息。文档来源文档的出处例如URL、文件名、数据库记录等。创建时间文档的创建或更新时间。作者信息文档的作者或编辑者。文档类型文档的类型如新闻文章、学术论文、博客等。元数据在RAG中也非常重要不仅提供了额外的上下文信息还能提升检索质量检索增强精准过滤按时间、作者、主题等缩小搜索范围相关性提升结合向量相似度和元数据特征提高检索准确性ii. 上下文丰富来源标注提供文档来源、作者、发布日期等信息文档关系展示文档间的层级或引用关系iii. 常见的元数据提取方式:正则/HTML/… 等解析工具提取标题、作者、日期等自然语言处理: 使用NLP技术如命名实体识别、关键词提取从文档内容中提取元数据如人名、地名、组织名、关键词等机器学习模型: 训练机器学习模型来自动提取元数据通过调用外部API如Google Scholar API、Wikipedia API获取文档的元数据例如complete_metadata_chunk1 { file_path: /mydocs/roma_intro.md, file_name: roma_intro.md, chunk_id: 0, section_title: # 什么是 ROMA, subsection_title: , section_type: section, chunking_strategy: 3, content_type: product_description, main_entity: ROMA, language: zh-CN, creation_date: 2025-07-02, # 从文件系统获取 word_count: 42 # 计算得出, topics: [ROMA, 前端框架, 跨平台开发], entities: { products: [ROMA, Jue语言], # 实体识别 platforms: [iOS, Android, Web] }, }2.1.2 内容分块(Chunking)在RAG架构中分块既是核心也是挑战它直接影响检索精度、生成质量需要在检索精度、语境完整性和计算性能之间取得平衡。内容分块将长文档切分成小块可以解决向量模型的token长度限制使RAG更精确定位相关信息提升检索精度和计算效率。AutoBots(JoyAgent)功能分块实际RAG框架中按照文档的特性选择合适的分块策略进行分块。常见的分块策略a. 按大小分块按固定字符数进行分块实现简单但可能切断语义单元。优点实现简单且计算开销小块大小均匀便于管理。缺点可能切断语义单元如句子或段落被分到不同块中。例如第一段# ROMA框架介绍ROMA是一个全自主研发的前端开发框架基于自定义DSL(Jue语言)。 一份代码可在iOS、Android、Harmony 第二段、Web三端运行的跨平台解决方案。ROMA框架的中文名为罗码。句子被截断“一份代码可在iOS、Android、Harmony” 和 “、Web三端运行的跨平台解决方案” 被分到不同块影响理解。b. 按段落分块以段落为基本单位进行分块保持段落完整性但段落长度可能差异很大。优点尊重文档自然结构保留完整语义单元。缺点段落长度差异大可能导致块大小不均衡。例如第一段# ROMA框架介绍ROMA是一个全自主研发的前端开发框架基于自定义DSL(Jue语言)。 一份代码可在iOS、Android、Harmony、Web三端运行的跨平台解决方案。ROMA框架的中文名为罗码。 第二段# 核心特性1. 跨平台一套代码运行于多端2. 高性能接近原生的性能表现3. 可扩展丰富的插件系统第一段包含标题和多行内容而其他段落相对较短可能导致检索不均衡。c. 按语义分块基于文本语义相似度进行动态分块保持语义连贯性但计算开销大。说明基于文本语义相似度动态调整分块边界。优点保持语义连贯性能识别内容主题边界。例如第一段# ROMA框架介绍ROMA是一个全自主研发的前端开发框架基于自定义DSL(Jue语言)。 一份代码可在iOS、Android、Harmony、Web四端运行的跨平台解决方案。 第二段ROMA框架的中文名为罗码。 ## 核心特性1. 跨平台一套代码运行于多端使用依赖模型质量相同文本在不同运行中可能产生不同分块结果。d. 分块策略总结e. 优化方式混合分块策略结合多种分块方法的优点如先按段落分块再根据块大小调整做到既保持语义完整性又能控制块大小均匀优化重叠区域根据内容特性动态调整块之间的重叠区域大小关键信息出现在多个块中提高检索召回率f. 常用的分块工具Lang Chain框架提供多种分块策略包括RecursiveCharacterTextSplitter、MarkdownTextSplitter等NLTK用于基于自然语言句子的分块spaCy提供语言学感知的文本分割2.1.3 向量化将高维文本数据压缩到低维空间便于处理和存储。将文本转换为计算机可以理解的数值使得计算机能够理解和处理语义信息从而在海量数据文本中实现快速、高效的相似度计算和检索。简单理解通过一组数字来代表文本内容的“本质”。例如“ROMA是一个跨平台解决方案…”这句话可能被转换为一个384维的向量[块1] 什么是ROMA ROMA是一个全自主研发的前端开发框架基于自定义DSL(Jue语言)... [ { chunk_id: doc1_chunk1, text: # 什么是 ROMA\nROMA 是一个全自主研发的前端开发基于自定义DSL(Jue语言)一份代码可在iOS、Android、Harmony、Web端运行的跨平台解决方案。, vector: [0.041, -0.018, 0.063, ..., 0.027], metadata: { source: roma_introduction.md, position: 0, title: ROMA框架介绍 } }, // 更多文档块... ]常用的Embedding模型2.1.4 向量数据库入库将生成的向量数据和元数据进行存储同时创建索引结构来支持快速相似性搜索。常用的向量数据库包括2.2 问答阶段2.2.1 查询预处理意图识别使用分类模型区分问题类型事实查询、建议、闲聊等。问题预处理问题内容清洗和标准化过程与前面数据预处理类似。查询增强使用知识库或LLM生成同义词如“动态化” → “Roma”上下文补全可以结合历史会话总结例如用户之前问过“Roma是什么”。2.2.2 数据检索(召回)a. 向量化使用与入库前数据向量化相同的模型将处理后的问题内容向量化。例如问题: ROMA是什么? 处理后 { vector: [0.052, -0.021, 0.075, ..., 0.033], top_k: 3, score_threshold: 0.8, filter: {doc_type: 技术文档} }b. 检索相似度检索查询向量与所存储的向量最相似(通过余弦相似度匹配)的前 top_k 个文档块。关键词检索倒排索引的传统方法,检索包含“Roma”、“优势”等精确关键词的文档。混合检索合并上面多种检索结果效果最优。例如检索“ROMA是什么?”c. 重排序(Reranking)初步检索在精度和语义理解上的不足通过更精细的上下文分析提升结果相关性。它能更好处理同义词替换、一词多义等语义细微差异使最终结果准确。原理使用模型对每个检索结果计算相关性分数。归一化重排序模型原始输出分数没有固定的范围它可能是任意实数将结果归一化处理将分数映射到 [0, 1] 范围内使其更容易与向量相似度分数进行比较。例如常用的重排序模型2.2.3 信息整合格式化检索的结果构建提示词模板同时将搜索的内容截断或摘要长文本以适应LLM上下文窗口token。提示词优化限定回答范围要求标注来源设置拒绝回答规则…例如prompt 模板 你是一名ROMA框架专家请基于以下上下文回答 参考信息: [文档1] 什么是 ROMA ROMA 是一个全自主研发的前端开发基于自定义DSL(Jue语言)一份代码可在iOS、Android、Harmony、Web四端运行的跨平台解决方案。 ROMA 框架的中文名为罗码。 [文档2] Roma介绍 [Roma介绍](docs/guide/guide/introduction.md) 文档地址: https://roma-design.jd.com/docs/guide/guide/introduction.html 要求 1. 分步骤说明含代码示例 2. 标注来源文档版本 3. 如果参考信息中没有相关内容请直接说明无法回答不要编造信息 请基于以下参考信息回答用户的问题。如果参考信息中没有相关内容请直接说明无法回答不要编造信息。 用户问题: ROMA是什么 回答: {answer}2.2.4 LLM生成向LLM如GPT-4、Claude发送提示获取生成结果。AutoBots(JoyAgent)示例以上实现了最简单的RAG流程。实际的RAG过程会比上述麻烦更多包括图片、表格等多模态内容的处理更复杂的文本解析和预处理过程文档格式的兼容结构化与非结构化数据的兼容等等。最后展示一下RAG各阶段的优化方式想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”