如何利用dw建设网站电子商务网站开发方式

如何利用dw建设网站,电子商务网站开发方式,聊天app开发需要多少钱,做网站动态背景的图片还在为微调嵌入模型需要大量GPU资源而发愁#xff1f;今天教你用LlamaIndex的Adapter适配器技术#xff0c;无论是BGE、OpenAI还是其他任何Embedding模型#xff0c;都能轻松微调#xff0c;用普通电脑就能让通用模型适配你的专业领域#xff01;引言#xff1a;为什么需…还在为微调嵌入模型需要大量GPU资源而发愁今天教你用LlamaIndex的Adapter适配器技术无论是BGE、OpenAI还是其他任何Embedding模型都能轻松微调用普通电脑就能让通用模型适配你的专业领域引言为什么需要微调嵌入模型在RAG检索增强生成系统中嵌入模型的质量直接决定了检索的准确性。虽然像BGE、OpenAI这样的通用嵌入模型已经很强大但在特定领域如医疗、法律、金融中它们往往表现不佳。传统的全量微调需要• 大量GPU显存通常需要16GB• 长时间训练可能需要数天• 存储完整模型副本而Adapter适配器微调只需要• 普通GPU或CPU即可显存需求降低90%• 训练时间大幅缩短• 只保存几MB的适配器参数什么是Adapter适配器微调Adapter适配器微调是一种参数高效的微调方法。它的核心思想是在预训练模型上添加一个轻量级的适配器层只训练这个适配器而冻结原始模型参数。原始嵌入 → [冻结的基础模型] → [可训练的Adapter层] → 微调后的嵌入这样做的好处参数少Adapter层通常只有几MB而全量微调需要保存整个模型几百MB到几GB训练快只更新少量参数训练速度提升10倍以上效果好在特定任务上Adapter微调的效果往往接近全量微调实战用LlamaIndex实现Adapter微调环境准备首先我们需要安装必要的依赖# pyproject.toml[project]dependencies [datasets4.4.1,llama-index-core0.14.8,llama-index-embeddings-adapter0.4.1,llama-index-embeddings-huggingface0.6.1,llama-index-embeddings-openai0.5.1,llama-index-embeddings-openai-like0.2.2,llama-index-finetuning0.4.1,llama-index-llms-openai-like0.5.3,llama-index-readers-file0.5.4,python-dotenv1.2.1,transformers[torch]4.57.1,]第一步准备训练数据集从PDF/Markdown等文档中提取文本使用大语言模型自动生成问答对作为训练数据。需准备两份语料一份为训练的语料一份为验证的语料。为了测试方便这里我们使用一份语料分别作训练和验证用。下载地址如下下载好放data目录。https://www.modelscope.cn/datasets/muxueai/ai_ai_yu_llm_study_lib/resolve/master/%E4%B8%AD%E5%8D%8E%E4%BA%BA%E6%B0%91%E5%85%B1%E5%92%8C%E5%9B%BD%E8%AF%81%E5%88%B8%E6%B3%95(2019%E4%BF%AE%E8%AE%A2).pdf项目的.env配置内容OPENAI_API_KEYsk-xxxOPENAI_API_BASEhttps://api.siliconflow.cn/v1LLM_MODELdeepseek-ai/DeepSeek-V3EMBEDDING_MODELQwen/Qwen3-Embedding-8B使用LlamaIndex的generate_qa_embedding_pairs函数自动调用大语言模型生成高质量的问答对。# # 1-gen_train_dataset.pyimport json from llama_index.core import SimpleDirectoryReader from llama_index.core.node_parser import SentenceSplitter import os from llama_index.finetuning import generate_qa_embedding_pairs from llama_index.llms.openai_like import OpenAILike from dotenv import load_dotenv load_dotenv() BASE_DIR rD:\Test\embedding_ft\data # 训练集和验证集文件路径 TRAIN_FILES [os.path.join(BASE_DIR, 中华人民共和国证券法(2019修订).pdf)] VAL_FILES [os.path.join(BASE_DIR, 中华人民共和国证券法(2019修订).pdf)] # 训练集和验证集语料库文件路径 TRAIN_CORPUS_FPATH os.path.join(BASE_DIR, train_corpus.json) VAL_CORPUS_FPATH os.path.join(BASE_DIR, val_corpus.json) def load_corpus(files, verboseFalse): if verbose: print(fLoading files {files}) reader SimpleDirectoryReader(input_filesfiles) docs reader.load_data() if verbose: print(fLoaded {len(docs)} docs) parser SentenceSplitter() nodes parser.get_nodes_from_documents(docs, show_progressverbose) if verbose: print(fParsed {len(nodes)} nodes) return nodes def mk_dataset(): train_nodes load_corpus(TRAIN_FILES, verboseTrue) val_nodes load_corpus(VAL_FILES, verboseTrue) # openai-like兼容大模型 llm OpenAILike( modelos.getenv(LLM_MODEL), api_baseos.getenv(OPENAI_API_BASE), api_keyos.getenv(OPENAI_API_KEY), temperature0.7, ) train_dataset generate_qa_embedding_pairs(llmllm, nodestrain_nodes) val_dataset generate_qa_embedding_pairs(llmllm, nodesval_nodes) train_dataset.save_json(TRAIN_CORPUS_FPATH) val_dataset.save_json(VAL_CORPUS_FPATH) mk_dataset()关键点•SimpleDirectoryReader自动读取PDF文档•SentenceSplitter将文档切分为合适的文本块•generate_qa_embedding_pairs使用LLM自动生成问答对无需人工标注• data目录下一共生成2个json,分别为微调所使用的训练集和 验证集。• 可以使用任意平台的大模型,为了生成高质量的数据集尽量选择能力强的大模型这里使用硅基平台的。第二步开始微调使用LlamaIndex的EmbeddingAdapterFinetuneEngine几行代码就能开始微调# 6-adapter-online-embedding.pyfrom llama_index.core.evaluation import EmbeddingQAFinetuneDataset from llama_index.finetuning import EmbeddingAdapterFinetuneEngine from llama_index.core.embeddings import resolve_embed_model import os from dotenv import load_dotenv load_dotenv() BASE_DIR rD:\Test\embedding_ft\data TRAIN_CORPUS_FPATH os.path.join(BASE_DIR, train_corpus.json) VAL_CORPUS_FPATH os.path.join(BASE_DIR, val_corpus.json) train_dataset EmbeddingQAFinetuneDataset.from_json(TRAIN_CORPUS_FPATH) val_dataset EmbeddingQAFinetuneDataset.from_json(VAL_CORPUS_FPATH) base_embed_model resolve_embed_model( rlocal:D:\Test\embedding_ft\model\BAAI\bge-small-en-v1___5 ) finetune_engine EmbeddingAdapterFinetuneEngine( train_dataset, base_embed_model, model_output_pathadapter_model_output, # biasTrue, epochs10, verboseTrue, # optimizer_classtorch.optim.SGD, # optimizer_params{lr: 0.01} ) finetune_engine.finetune() embed_model finetune_engine.get_finetuned_model() print(embed_model)关键参数说明• 使用bge-small-en-v1.5作为基础模型你也可以选择其他模型从魔塔社区或者Hugging face上下载模型文件保存到项目的model目录下。•model_output_path: 适配器模型保存路径只有几MB•epochs: 训练轮数通常4-10轮就足够•bias: 是否在Adapter层使用偏置可选•optimizer_class和optimizer_params: 自定义优化器可选第三步评估模型效果微调完成后我们需要评估模型在验证集上的表现。通常使用两个指标•Hit Rate命中率检索到的Top-K结果中是否包含正确答案•MRR平均倒数排名正确答案在检索结果中的平均排名倒数# 5-eval-mrr.pyfrom llama_index.embeddings.openai_like import OpenAILikeEmbeddingfrom llama_index.core.evaluation import EmbeddingQAFinetuneDatasetfrom eval_utils import evaluate, display_resultsfrom sentence_transformers import SentenceTransformerfrom llama_index.core.embeddings import resolve_embed_modelfrom llama_index.embeddings.adapter import LinearAdapterEmbeddingModelimport osfrom dotenv import load_dotenvload_dotenv()BASE_DIR rD:\Test\embedding_ft\dataVAL_CORPUS_FPATH os.path.join(BASE_DIR, val_corpus.json)val_dataset EmbeddingQAFinetuneDataset.from_json(VAL_CORPUS_FPATH)# 评估在线的Embedding模型qwen3_embedding OpenAILikeEmbedding( model_nameos.getenv(EMBEDDING_MODEL), api_baseos.getenv(OPENAI_API_BASE), api_keyos.getenv(OPENAI_API_KEY), embed_batch_size10,)qwen3_embedding_val_results evaluate(val_dataset, qwen3_embedding)print(display_results([qwen3_embedding], [qwen3_embedding_val_results]))# 评估原始的Embedding模型orgin_embedding_val_results evaluate(val_dataset, rlocal:D:\Test\embedding_ft\model\BAAI\bge-small-en-v1___5)print(display_results([orgin_embedding], [orgin_embedding_val_results]))# 评估本地微调过的Embedding模型,路径前要加上local:ft_embedding_val_results evaluate(val_dataset, rlocal:D:\Test\embedding_ft\exp_finetune)print(display_results([ft_embedding], [ft_embedding_val_results]))# 评估Adapter微调过的Embedding模型 base_embed_model resolve_embed_model(rlocal:D:\Test\embedding_ft\model\BAAI\bge-small-en-v1___5)adapt_embed_model LinearAdapterEmbeddingModel(base_embed_model, model_output_test)apapt_val_results evaluate(val_dataset, adapt_embed_model)display_results([adapt_embedding], [apapt_val_results])评估结果示例模型类型Hit RateMRRqwen3模型0.2580.197原始bge模型0.0890.04Adapter微调0.1230.063全量微调0.2350.128可以看到Adapter微调在只训练少量参数的情况下效果已非常明显进阶使用两层神经网络Adapter如果单层线性Adapter效果不够好可以尝试两层神经网络Adapterfrom llama_index.core.embeddings.adapter_utils import TwoLayerNNfrom llama_index.finetuning import EmbeddingAdapterFinetuneEnginefrom llama_index.embeddings.adapter import AdapterEmbeddingModel# 创建两层神经网络适配器adapter_model TwoLayerNN(384, # 输入维度BGE-small的输出维度1024, # 隐藏层维度384, # 输出维度 biasTrue, add_residualTrue, # 添加残差连接)finetune_engine EmbeddingAdapterFinetuneEngine( train_dataset, base_embed_model, model_output_pathmodel_2layer_output, model_checkpoint_pathmodel_2layer_ck, # 保存检查点 adapter_modeladapter_model, epochs25, # 两层网络需要更多轮次 verboseTrue,)finetune_engine.finetune()# 加载微调后的模型embed_model_2layer finetune_engine.get_finetuned_model( adapter_clsTwoLayerNN)使用微调后的模型微调完成后可以像使用普通嵌入模型一样使用它from llama_index.embeddings.adapter import LinearAdapterEmbeddingModelfrom llama_index.core.embeddings import resolve_embed_model# 加载基础模型base_embed_model resolve_embed_model(rlocal:D:\Test\embedding_ft\model\BAAI\bge-small-en-v1___5)# 加载适配器embed_model LinearAdapterEmbeddingModel( base_embed_model, model_output_test)# 在RAG系统中使用from llama_index.core import VectorStoreIndex, Documentdocuments [Document(text你的文档内容)]index VectorStoreIndex.from_documents( documents, embed_modelembed_model)query_engine index.as_query_engine()response query_engine.query(你的问题)最佳实践与技巧1. 数据准备•数据量通常1000-10000个问答对就足够•数据质量确保查询和文档的相关性标注准确•数据平衡尽量覆盖领域内的各种查询类型2. 训练参数调优•学习率默认学习率通常效果不错如需调整建议在0.0001-0.001之间•训练轮数单层Adapter通常4-10轮两层网络需要15-25轮•批次大小根据显存调整通常16-32效果较好3. 模型选择•基础模型选择与你的领域相近的预训练模型•Adapter类型先尝试单层线性Adapter效果不够再试两层网络4. 效果评估• 在验证集上评估避免过拟合• 对比多个模型原始模型、Adapter微调、全量微调• 关注实际业务指标而不仅仅是Hit Rate和MRR5、对闭源模版的微调该方法同样适用于网上闭源的Embedding模型的微调比如对openai的text-embedding-ada-002微调代码如下from llama_index.finetuning import EmbeddingAdapterFinetuneEngine, generate_qa_embedding_pairsfrom llama_index.embeddings.openai import OpenAIEmbedding# 步骤1准备数据集train_dataset generate_qa_embedding_pairs(train_nodes)val_dataset generate_qa_embedding_pairs(val_nodes)# 步骤2创建在线 embedding 实例embed_model OpenAIEmbedding(model_nametext-embedding-ada-002, api_keysk-...)# 步骤3初始化微调引擎finetune_engine EmbeddingAdapterFinetuneEngine( train_dataset, embed_model, model_output_pathadapter_output, epochs4, verboseTrue,)# 步骤4开始微调finetune_engine.finetune()步骤概述准备训练数据集如 EmbeddingQAFinetuneDataset。用 resolve_embed_model 或 OpenAIEmbedding/HuggingFaceEmbedding 创建在线 embedding 实例。初始化 EmbeddingAdapterFinetuneEngine传入数据集和 embedding 实例指定输出路径等参数。调用 finetune() 开始训练微调的适配器会自动保存。6、EmbeddingAdapterFinetuneEngine和SentenceTransformersFinetuneEngine对比• EmbeddingAdapterFinetuneEngine 用于在任意黑盒嵌入模型如 OpenAI、sentence-transformers、本地模型等输出的向量上微调一个轻量级的适配器如线性层不改变原始大模型参数适合模型不可训练或只想快速适配场景。• SentenceTransformersFinetuneEngine 则直接对 sentence-transformers 兼容的大模型参数进行全量微调适合你有完整训练权限和资源时使用。两者都能提升检索效果但微调对象和适用场景不同。7、eval_utils.py 代码code-snippet__js from llama_index.core.schema import TextNode from llama_index.core import Settings from llama_index.core import VectorStoreIndex import pandas as pd from tqdm import tqdm def evaluate( dataset, embed_model, top_k5, verboseFalse, ): corpus dataset.corpus queries dataset.queries relevant_docs dataset.relevant_docs embed_model embed_model or Settings.embed_model nodes [TextNode(id_id_, texttext) for id_, text in corpus.items()] index VectorStoreIndex( nodes, embed_modelembed_model, show_progressTrue ) retriever index.as_retriever(similarity_top_ktop_k) eval_results [] for query_id, query in tqdm(queries.items()): retrieved_nodes retriever.retrieve(query) retrieved_ids [node.node.node_id for node in retrieved_nodes] expected_id relevant_docs[query_id][0] rank None for idx, id in enumerate(retrieved_ids): if id expected_id: rank idx 1 break is_hit rank is not None # assume 1 relevant doc mrr 0 if rank is None else 1 / rank eval_result { is_hit: is_hit, mrr: mrr, retrieved: retrieved_ids, expected: expected_id, query: query_id, } eval_results.append(eval_result) return eval_results def display_results(names, results_arr): Display results from evaluate. hit_rates [] mrrs [] for name, results in zip(names, results_arr): results_df pd.DataFrame(results) hit_rate results_df[is_hit].mean() mrr results_df[mrr].mean() hit_rates.append(hit_rate) mrrs.append(mrr) final_df pd.DataFrame( {retrievers: names, hit_rate: hit_rates, mrr: mrrs} ) print(final_df)总结Adapter微调是一种参数高效、成本低廉、效果显著的嵌入模型微调方法。通过本文的实战教程你可以✅ 用普通电脑微调嵌入模型✅ 在特定领域提升检索效果20%✅ 只保存几MB的适配器参数✅ 快速迭代和实验不同的适配器架构适用场景• 垂直领域的RAG系统• 多语言检索优化• 特定文档类型的检索• 资源受限的环境不适合的场景• 需要大幅改变模型架构• 训练数据与预训练数据分布差异极大• 需要同时微调多个任务希望这篇文章能帮助你在RAG系统中获得更好的检索效果如果你在实际应用中遇到问题欢迎在评论区交流讨论。参考资源• [LlamaIndex官方文档]https://developers.llamaindex.ai/python/examples/finetuning/embeddings/finetune_embedding_adapter• [Adapter微调论文]https://arxiv.org/abs/1902.00751• [BGE模型仓库]https://huggingface.co/BAAI/bge-small-en-v1.5想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”