视频连接网站怎么做wordpress自带的简码

视频连接网站怎么做,wordpress自带的简码,江苏宏远建设集团网站,中文域名注册管理中心在生成式AI与语音交互技术快速发展的当下#xff0c;如何高效构建低延迟、个性化、自然对话体验的智能语音Agent#xff0c;已逐渐成为业界关注的焦点之一。 智能语音Agent的应用领域广泛#xff0c;包括智能设备语音交互#xff08;如具身机器人、智能音箱#xff09;、…在生成式AI与语音交互技术快速发展的当下如何高效构建低延迟、个性化、自然对话体验的智能语音Agent已逐渐成为业界关注的焦点之一。智能语音Agent的应用领域广泛包括智能设备语音交互如具身机器人、智能音箱、个人助理、自动化客服如餐厅预订、销售、保险、预约安排、营销、语言教学如英语口语学习、健康医疗以及多模态内容创作等。本篇博客将首先介绍构建智能语音Agent的核心组件和延迟优化建议接着将利用Pipecat开源框架和Amazon Bedrock服务打造一个支持用户打断、多轮上下文管理的实时交互智能语音Agent一、智能语音Agent核心组件智能语音Agent结合了基础模型的文本/语音识别、理解和推理能力旨在提供实时、自然、连续的语音交互体验。一般来说构建智能语音Agent通常需要包含以下核心组件VAD( Voice Activity Detection )检测音频中是否存在人类语音EOU(End of Turn/Utterance )检测说话者是否已经完成了他们的发言STT (Speech To Text)也称为自动语音识别ASR将给定音频转录为文本LLM和 LLM Agent大语言模型如 Amazon Nova/Nova SonicDeepSeekAnthropic Claude系列模型TTS( Text To Speech)也称为语音合成从文本生成自然且清晰的语音通过将上述组件组合成一条Pipeline即可构建出智能语音Agent。随着生成式AI技术的进步业界发展出了端到端语音模型即Speech to Speech语音模型该模型可实现语音输入到语音输出的全链路处理例如Amazon Nova Sonic就是一款由Amazon研发的Speech to Speech语音模型。端到端语音模型内置了VAD、EOU、STT、LLM、TTS等集成功能能够实现更低的延迟。这类模型使得构建语音Agent更为轻松便捷。Amazon Nova Sonic 是一款语音理解和生成模型可提供自然的类人语音对话式人工智能并且实现了低延迟和行业领先的性价比。该模型提供流畅的对话处理、自适应语音响应、内容审核、API调用和基于RAG的知识库集成同时提供高度自适应且引人入胜的用户体验。这两种方案各有优缺点Pipeline方案可以对各个部分进行精细控制但其缺点在于语音到文本的来回转换可能导致部分声音信息丢失并且延迟相对较大。端到端语音模型方案延迟更低实现更为简单并且能够更好地感知声音信息例如非语言线索如笑声、犹豫、语调、重音、风格、情绪等但对语音如何流入和流出Agent的控制相对较少。需要注意的是在当前阶段SOTA LLM前沿大语言模型相比于Speech to Speech语音模型在成本、推理能力、指令遵循和函数调用等方面仍占据优势。但不可否认Speech to Speech模型是语音Agent的未来。限时插播无需管理基础设施利用亚马逊技术与生态快速集成与部署生成式AI模型能力。✨ 精心设计旨在引导您深入探索Amazon Bedrock的模型选择与调用、模型自动化评估以及安全围栏(Guardrail)等重要功能。⏩快快点击进入《多模一站通 —— Amazon Bedrock 上的基础模型初体验》实验构建无限, 探索启程二、传输协议对比要构建自然流畅的智能语音Agent传输协议的选择至关重要它们直接影响着语音流的传输效率和实时性。常见的传输协议有WebSocketWebRTC等它们有各自的特点详细对比如下。通过对比可以看出WebSocket兼容性更好WebRTC对音视频的传输做了很多优化传输效率更高。一般来说对于构建原型和轻量级项目可以选择Websocket对于中大型生产项目WebRTC是更优的选择。但WebRTC协议复杂部署也很复杂需要实现信令服务器、STUN服务器公网IP和端口发现TURN服务器P2P连接失败时作为媒体中继服务器实现诸如NAT穿透。因此构建一个成熟稳定的WebRTC方案难度比较大。目前市面上有Livekit开源框架同时也有Amazon KVS、Daily、Livekit Cloud等商业WebRTC服务可供选择。使用WebRTC有两种主要方式一是通过云端的WebRTC服务器中转商业WebRTC服务多采用此模式二是直接在客户端和语音Agent端之间建立连接。云端服务器模式可以实现直连模式无法提供的诸多特性例如多方会话、多方录音等。而直连模式则非常适合语音AI Agent的客户端-服务器场景它减少了服务器中转环节并且无需维护任何特定于WebRTC的基础设施。Tips:自建WebRTC服务可以使用公开STUN服务器https://gist.github.com/mondain/b0ec1cf5f60ae726202e。可以根据语音Agent的部署位置选择合适的STUN服务器。WebRTC服务使用UDP协议进行连接在亚马逊云部署时需要在安全组开放对应的UDP端口。三、智能语音Agent延迟优化建议延迟是影响人与语音Agent之间对话体验的关键因素。人类期望在正常对话中获得快速响应长时间的停顿会显得不自然人机对话的典型响应时间通常为500毫秒。因此延迟优化对于智能语音Agent来说至关重要。根据作者基于Amazon Bedrock构建智能语音Agent的实践经验建议综合考虑以下方式优化延迟技术。语音Agent部署尽量靠近用户减少网络传输延迟。使用传输效率更高、延迟更低的传输协议如 WebRTC。LLM 延迟优化LLM的延迟在整个语音Agent的延迟中占据主要部分因此对LLM进行延迟优化显得尤为关键。在满足要求的前提下可以采用以下手段进行优化。优先选择端到端语音模型这种模式一般比STT-LLM-TTS的Pipeline模式延迟更低。选择参数量更小/推理速度更快的模型例如Nova LiteClaude 3.5 Haiku等。使用Bedrock上支持延迟优化的模型例如Nova ProClaude 3.5 Haiku等开启 Prompt cachingPre-LLM TTS 填充在用户对话前预先输出内容如自我介绍给用户体感上的快。执行长时间函数调用之前输出提示信息例如“处理中请稍后…”从而减少客户的等待时间。通过LLM提示词引导缩短回复内容。典型的Pipeline模式和端到端语音模型延迟对比如下请注意不同方案和组件的延迟差异较大以下数据仅供参考。在设计智能语音Agent时将语音端到端延迟控制在800至1000毫秒是一个不错的目标。四、使用Pipecat框架构建智能语音Agent构建一个智能语音Agent并非易事。除了实现上文所述的核心组件还需要考虑如何存储会话上下文、接入外部知识库或对接后端系统等功能。使用Pipecat 开源框架可以显著简化智能语音Agent的开发过程。4.1 Pipecat框架介绍Pipecat是一个开源的Python框架专为构建实时语音和多模态对话Agent而设计。它能够轻松协调音频/视频流、AI服务、多种传输方式以及对话流程从而让开发者更专注于打造独具特色的Agent。Pipecat主要特性包括低延迟实时交互支持Agentic Workflow可集成各类工具tools支持 WebRTC、WebSocket等传输协议灵活的模型和服务选择如 Amazon BedrockPollyTranscribe及其它主流的模型。支持用户打断多模态4.2 方案介绍接下来我们将借助一个示例项目探讨如何基于Pipecat框架并结合Amazon Bedrock、Amazon Polly和Amazon Transcribe等服务来构建智能语音Agent。Amazon Bedrock是用于构建生成式 AI 应用程序和Agent的托管服务支持多种自研和第三方大模型例如Amazon Nova、Nova Sonic、DeepSeek、Anthropic Claude系列模型。Amazon Polly是一项完全托管的服务可按需生成语音将任意文本转换为音频流即TTS并支持数十种语言。Amazon Transcribe 是一项完全托管的自动语音识别ASR服务自动将语音转换为文本。该示例项目演示了如下功能支持Pipeline模式和端到端语音模式使用Amazon Nova Sonic模型。使用WebRTC作为传输协议。通过Tools集成知识库该知识库包含了2025年亚马逊云科技中国峰会的相关内容。提供Web前端用于与Agent进行语音交互。完整的示例代码见Github代码仓库: https://github.com/freewine/sample-voice-agent-with-Amazon-Bedrock-and-Pipecat使用Pipecat构建智能语音Agent的逻辑架构如图所示。4.3 Agent核心代码使用Pipecat构建语音Agent的关键在于工作流的搭建。以下是Pipeline模式的示例代码从中可以看出通过STT、LLM和TTS等服务构建了一条完整的Pipeline。为便于阅读和理解我们已对代码进行简化完整代码请访问Github仓库。transport SmallWebRTCTransport( webrtc_connectionwebrtc_connection, paramsTransportParams( audio_in_enabledTrue, audio_out_enabledTrue, vad_analyzerSileroVADAnalyzer(), ), ) stt AWSTranscribeSTTService() tts AWSPollyTTSService(voice_id“Joanna”) llm AWSBedrockLLMService( modelapac.amazon.nova-pro-v1:0) context AWSBedrockLLMContext(messages, tools) context_aggregator llm.create_context_aggregator(context) pipeline Pipeline( [ transport.input(), # Transport user input stt, # STT context_aggregator.user(), # User responses llm, # LLM tts, # TTS transport.output(), # Transport bot output context_aggregator.assistant(), # Assistant spoken responses ] ) task PipelineTask( pipeline, paramsPipelineParams( allow_interruptionsTrue, enable_metricsTrue, ), )如果使用Speech to Speech模型可以省去TTS和STT实现端到端语音输入输出。示例代码如下。transport SmallWebRTCTransport( webrtc_connectionwebrtc_connection, paramsTransportParams( audio_in_enabledTrue, audio_out_enabledTrue, vad_analyzerSileroVADAnalyzer(), ), ) # Create the AWS Nova Sonic LLM service speech_to_speech AWSNovaSonicLLMService( secret_access_keyos.getenv(AWS_SECRET_ACCESS_KEY), access_key_idos.getenv(AWS_ACCESS_KEY_ID), regionos.getenv(AWS_REGION), voice_idtiffany, ) context AWSBedrockLLMContext(messages, tools) context_aggregator llm.create_context_aggregator(context) pipeline Pipeline( [ transport.input(), # Transport user input context_aggregator.user(), # User responses speech_to_speech, # Speech to Speech model transport.output(), # Transport bot output context_aggregator.assistant(), # Assistant spoken responses ] ) task PipelineTask( pipeline, paramsPipelineParams( allow_interruptionsTrue, enable_metricsTrue, ), )4.4 系统提示词最佳实践语音Agent与文字Agent的系统提示词在核心原则上是相通的但语音Agent具有其特殊性需要额外考虑多方面因素例如口语化的适应、非语言信息的处理、错误纠正和澄清等。以下是作者在构建语音Agent时总结的几点经验由于STT/ASR模型在实时流中可用的上下文信息有限语音转录时很可能出现错误。好在当前的LLM已足够智能在进行推理时可以访问完整的对话上下文。因此我们可以通过系统提示词告知LLM输入为用户语音的转录文本指示其进行相应推理以纠正转录错误。建议在系统提示词添加如下的内容When you receive a transcribed user request, silently correct for likely transcription errors. Focus on the intended meaning, not the literal text. If a word sounds like another word in the given context, infer and correct.鉴于LLM的推理结果将用于TTS进行语音合成因此可在系统提示词中要求其避免输出难以发音的内容Your output will be converted to audio so don’t include special characters in your answers.保持Agent语音输出的简洁性打造更好的对话体验建议在系统提示词里添加如下约束Keep your responses brief, generally two or three sentences for chatty scenarios.参考文件Pipecat: https://github.com/pipecat-ai/pipecatAmazon Nova Sonic: https://aws.amazon.com/ai/generative-ai/nova/speech/Amazon bedrockhttps://aws.amazon.com/bedrock/*前述特定亚马逊云科技生成式人工智能相关的服务目前在亚马逊云科技海外区域可用。亚马逊云科技中国区域相关云服务由西云数据和光环新网运营具体信息以中国区域官网为准。本篇作者本期最新实验《多模一站通 —— Amazon Bedrock 上的基础模型初体验》✨ 精心设计旨在引导您深入探索Amazon Bedrock的模型选择与调用、模型自动化评估以及安全围栏(Guardrail)等重要功能。无需管理基础设施利用亚马逊技术与生态快速集成与部署生成式AI模型能力。⏩️[点击进入实验] 即刻开启 AI 开发之旅构建无限, 探索启程