电子商务网站建设与实践第一章课后杭州软件开发公司

电子商务网站建设与实践第一章课后,杭州软件开发公司,培训机构seo,视频发布网站有哪些内容今天学点啥#xff1f;每天10分钟#xff0c;拆解一个真实岗位JD#xff0c;搞懂一个大模型技术点。今天拆解的是阿里巴巴智能信息事业部的LLM算法岗#xff0c;薪资给到了40-70K16薪#xff08;年薪最高112万#xff09;#xff0c;JD中的技术要求如下#xff1a; ✅ …今天学点啥每天10分钟拆解一个真实岗位JD搞懂一个大模型技术点。今天拆解的是阿里巴巴智能信息事业部的LLM算法岗薪资给到了40-70K·16薪年薪最高112万JD中的技术要求如下✅ 前沿探索跟踪、研究大语言模型相关领域包括但不限于模型预训练、指令微调、强化学习、检索增强生成(RAG)、AI Agent等✅ 业务赋能基于大规模用户行为数据和高质量标注数据设计并构建LLM解决方案以支持搜索广告和信息流广告相关业务✅ 专业技能熟悉prompt工程及常用的SFT数据构建方式了解RAG、AI Agent框架在阿里这个70K的算法岗中RAG被多次明确提及足见其重要性。一、RAG是什么想深入了解RAG是什么我们先看一个真实场景你在淘宝问客服“我上个月买的羽绒服尺码偏大想换小一号怎么办”传统LLM“您好关于商品换货一般需要在收货后7天内申请…”标准话术没解决问题用了RAG的智能客服“您好查询到您10月5日购买的XX品牌羽绒服订单号123456该商品支持7天无理由退换。由于您购买的黑色L码库存充足可以直接为您换成M码预计3天内送达。是否需要我帮您提交换货申请”区别在哪传统LLM只能基于训练数据泛泛回答RAG系统先检索了你的订单信息、商品库存、售后政策再生成个性化回复。看完上面真实场景再来简单科普下RAG是什么RAG Retrieval-Augmented Generation检索增强生成传统LLM答案 LLM(问题)RAG系统答案 LLM(问题 检索到的文档)有了RAG系统后大模型的一次问题实际上分为三步执行1用户提问时先从知识库里检索相关文档2把检索到的文档和问题一起喂给LLM3LLM基于这些文档生成回答上面真实场景具体三步执行如下code-snippet__js 用户提问我上个月买的羽绒服尺码偏大想换小一号怎么办 ↓ 【Query理解】 ├─ 时间范围上个月 → 2024年10月1日-10月31日 ├─ 商品信息羽绒服 ├─ 问题描述尺码偏大 └─ 用户需求换小一号 换货需求 ↓ 【多路检索阶段】 ├─ 向量检索语义理解 │ 尺码偏大想换小一号 换货 退换 尺码不合适 │ 召回售后政策文档、换货流程、尺码指南 │ ├─ BM25检索关键词匹配 │ 匹配羽绒服、换、尺码 │ 召回商品相关文档 │ └─ 结构化查询用户数据库 WHERE user_id当前用户 AND purchase_date BETWEEN 2024-10-01 AND 2024-10-31 AND product_name LIKE %羽绒服% 结果订单号12345610月5日购买黑色L码羽绒服 ↓ 【混合召回结果】10个候选文档 ├─ 订单记录用户10月5日购买XX品牌黑色L码羽绒服 ├─ 商品信息该羽绒服有S/M/L/XL四个尺码 ├─ 库存信息黑色M码当前库存30件 ├─ 售后政策支持7天无理由退换需吊牌完好 ├─ 换货流程在线提交申请3个工作日审核 ├─ 物流信息同城3天达异地5-7天 ├─ 尺码对照表L码胸围110cmM码胸围106cm ├─ 用户评价该商品尺码偏大建议拍小一号 ├─ 退换条件商品未洗涤、未穿着、吊牌完整 └─ 客服话术主动询问用户需求提供解决方案 ↓ 【Rerank重排序】 根据Query相关性打分精选Top3 [文档1] 订单记录 - 相关度0.95直接命中用户订单 [文档2] 售后政策 - 相关度0.92回答怎么办 [文档3] 库存信息 - 相关度0.89确认M码有货 ↓ 【构造Prompt】 系统角色你是阿里巴巴淘宝智能客服助手需要基于检索到的信息提供个性化服务 参考信息 [文档1] 用户于2024年10月5日购买XX品牌羽绒服黑色L码订单号123456 订单状态已收货10月8日签收 [文档2] 该商品支持7天无理由退换货政策从签收日起算需要商品吊牌完好、 未穿着、未洗涤。换货流程在线提交申请→客服审核→寄回商品→发出新商品 [文档3] 该商品当前库存状态黑色M码库存充足30件预计3天内可发货 黑色S码库存2件 用户问题我上个月买的羽绒服尺码偏大想换小一号怎么办 输出要求 1. 基于参考信息回答不要编造 2. 主动提供具体解决方案不是泛泛的政策介绍 3. 确认用户需求询问是否帮助办理 4. 语气友好、专业 ↓ 【LLM生成回答】 您好查询到您10月5日购买的XX品牌羽绒服订单号123456该商品支持7天无理由 退换。由于您购买的黑色L码库存充足可以直接为您换成M码预计3天内送达。 是否需要我帮您提交换货申请 ↓ 【答案优势分析】 ✓ 个性化准确找到用户的订单10月5日 ✓ 准确性确认了政策7天无理由和库存M码有货 ✓ 可操作给出具体方案换M码和时效3天 ✓ 主动服务询问是否帮助办理而非让用户自己去找二、RAG关键技术有哪些通过上面真实场景科普完RAG是什么如果大家没有编程经验对RAG三步执行估计比较懵。接下来通过RAG关键技术深度解析来让大家更深入理解。1. Embedding和向量检索RAG的核心什么是Embedding把文本转成一串数字向量让计算机能理解语义。code-snippet__js 羽绒服 → [0.2, 0.8, 0.1, ..., 0.5]768个数字 冬装外套 → [0.3, 0.7, 0.2, ..., 0.4] 苹果手机 → [0.9, 0.1, 0.8, ..., 0.2]如何进行向量检索简单说就是给两个向量的相似程度打分例如用余弦相似度计算两个向量的相似度。“羽绒服” vs “冬装外套” 0.85很相似“羽绒服” vs “苹果手机” 0.12不相关为什么需要向量检索语义相近的内容其向量在空间中的位置也更接近这样向量检索能快速找到“相似”内容而不是机械地匹配“相同”的关键词。传统关键词用户搜防寒衣物找不到羽绒服词不同向量检索能理解防寒衣物和羽绒服语义相近成功匹配2. 文档切分看似简单实则决定成败为什么要文档切分Chunk为了在精度与上下文之间取得平衡既能精准定位相关信息又能为模型提供语义完整的上下文。1LLM上下文限制GPT-4约8K tokens约6000字不能把整本手册都塞进去2精准定位一份50页的售后政策只有第3页回答了用户问题其他是干扰3检索效率小块匹配更精准如何进行Chunk大小的权衡核心是在检索精度与上下文完整性之间找到最佳平衡点。Chunk大小 优点 缺点 适合场景 小100-300字 检索精准 上下文不完整容易断句 FAQ、问答对 中500-1000字 平衡 通用 技术文档、产品手册 大1500字 上下文完整 噪声多、检索不精准 长文章、分析报告什么是OverlapOverlap为什么很重要Overlap是指在对文档进行分块Chunk时相邻文本块之间的重叠部分。适当Overlap可以防止语义切断从而提高检索召回率。例如售后政策文本“商品自签收之日起7天内支持退换货”from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 中文约250字相当于1-2个段落 chunk_overlap50, # 10%重叠确保关键句不被切断 separators[\n\n, \n, 。, , , , ] # 优先按段落、句子切分 )1不加Overlap切断了关键句。Chunk1“商品自签收之日起7天”不完整Chunk2“内支持退换货”不完整结果两个chunk都没用2加50字Overlap关键信息完整。Chunk1“…商品自签收之日起7天内支持退换货…”完整Chunk2“…7天内支持退换货需保持吊牌完好…”完整结果关键信息被两个Chunk都包含了常见的Overlap配置一般建议Overlap为Chunk size的10%-20%Chunk Size Overlap Overlap比例 适用场景 500 tokens 50 tokens 10% 短文档、结构清晰 1000 tokens 200 tokens 20% 通用场景推荐 2000 tokens 400 tokens 20% 长文档、复杂内容3. 混合检索112的组合拳什么是混合检索Hybrid Search为什么需要混合检索混合检索Hybrid Search是指结合多种检索方法来提高RAG系统的检索质量最常见的是结合向量检索语义检索和关键词检索如BM25。例如上面真实场景用户问订单号123456的物流信息纯向量检索Dense Retrieval匹配到订单查询相关文档但不是这个订单纯关键词检索Sparse Retrieval如BM25精确匹配123456但不理解物流“快递”“配送”混合检索 既语义理解又关键词匹配找到订单123456的物流文档什么时候必须用混合检索下面这些场景必须用混合检索文档包含大量专有名词产品名、人名、技术术语用户查询包含精确信息版本号、日期、ID等需要高召回率的场景客服、法律文档向量检索语义检索和关键词检索如BM25的权重怎么选权重不是随便定的需要**根据业务场景调优。**场景 向量权重 关键词权重 通用知识问答 0.7 0.3 技术文档检索 0.5 0.5 产品手册查询 0.4 0.6 代码搜索 0.3 0.7例如阿里的商品搜索可能是0.5/0.5因为既要理解防寒衣物语义又要匹配羽绒服关键词from langchain.retrievers import EnsembleRetriever # 向量检索器 vector_retriever vectorstore.as_retriever(search_kwargs{k: 10}) # BM25关键词检索器 bm25_retriever BM25Retriever.from_documents(chunks) # 混合检索70%语义 30%关键词 ensemble_retriever EnsembleRetriever( retrievers[vector_retriever, bm25_retriever], weights[0.7, 0.3] # 根据业务A/B测试调优 )4. 知识图谱检索理解实体间的关系网络什么是知识图谱检索Knowledge Graph Retrieval为什么需要它知识图谱检索是指通过构建实体及其关系的图结构让RAG系统不仅能检索到相关文本还能理解实体之间的关联关系从而提供更准确、更完整的答案。传统向量检索只能找到相似的文本片段但无法理解实体间的复杂关系。而知识图谱由三个核心元素构成实体(Entity)-关系(Relation)- **属性(Attribute)****通过结构化的知识图谱表示捕捉数据中实体、关系及全局语义从而增强LLM的推理能力解决传统RAG在复杂查询和多跳推理中的局限性。复杂查询利用社区聚类如Leiden算法生成分层摘要支持跨文档主题分析如“近五年AI研究趋势”实现全局语义理解解决复杂查询。多跳推理通过图谱路径回答需多次关联的问题如“A事件如何间接导致C结果”。什么时候必须用知识图谱检索?下面这些场景中,知识图谱检索能显著提升RAG效果。场景为什么需要知识图谱示例多跳推理需要通过多个关系推导答案我朋友的朋友是谁?需要跨越2层关系产品对比需要同时提取多个产品的相同属性“对比三款手机的电池续航”故障诊断需要通过症状→原因→解决方案的因果链“电脑蓝屏→内存故障→更换内存条”合规检查需要追溯政策依据链该操作是否合规?需要检查多层政策关系个性化推荐需要理解用户历史行为和产品关联“购买了A的用户还喜欢B和C”Rerank重排序最后一道质量关卡什么是Rerank重排序为什么需要重排序Rerank(重排序) 是在初步检索后使用更精细的模型对候选文档重新打分和排序确保最相关的内容排在最前面提供给LLM生成答案。1初步检索返回了10个文档但相关性参差不齐向量检索返回了语义相似但不精确的文档关键词检索匹配到了关键词但上下文不对知识图谱找到了相关实体但不是用户真正想要的2所以进行两阶段检索Rerank按相关性重新排序粗排向量检索从100万 → Top100精排Rerank从Top100 → Top3Rerank的核心原理是什么Rerank模型与初步检索模型的区别如下对比维度 初步检索(First-stage) Rerank(Second-stage) 模型类型 双塔模型(Bi-Encoder) 交叉编码器(Cross-Encoder) 计算方式 查询和文档分别编码,计算相似度 查询和文档联合编码,深度交互 速度 快(毫秒级),可预计算文档向量 慢(百毫秒级),必须实时计算 准确性 中等,适合海量召回 高,适合精排Top-K 候选规模 百万级→Top100 Top100→Top5from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import CohereRerank # Rerank模型 compressor CohereRerank( modelrerank-multilingual-v2.0, top_n3# 最终返回3个最相关文档 ) # 组合先向量检索Top10再Rerank精选Top3 compression_retriever ContextualCompressionRetriever( base_compressorcompressor, base_retrievervector_retriever )为什么大厂LLM算法工程师需要深入理解RAG因为他们需要的不是会调API的人而是能优化全链路、解决生产问题的工程师。RAG不是简单的检索生成而是一套完整的系统工程。Embedding理解语义的基础768维是平衡点Chunk500字50字overlap保证语义完整混合检索语义关键词权重根据业务调优知识图谱检索理解实体间的关系网络Rerank两阶段检索精度的最后一道质量关卡日拱一卒让大脑不断构建深度学习和大模型的神经网络连接。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”