iis 发布网站 404cms网站模板

iis 发布网站 404,cms网站模板,互联网网站建设水平,电商商城平台定制很多人每天都在用一些 AI 工具#xff0c;但是也经常听到 token。 那么 token 到底是什么#xff1f;它有什么用#xff1f; 今天我们不聊枯燥的概念#xff0c;只用相对通俗易懂的方式帮助大家理解这个概念#xff0c;并且提供工具#xff0c;能够让大家上手体验。 T…很多人每天都在用一些 AI 工具但是也经常听到 token。那么 token 到底是什么它有什么用今天我们不聊枯燥的概念只用相对通俗易懂的方式帮助大家理解这个概念并且提供工具能够让大家上手体验。Token 是什么一句话总结Token词元是大语言模型LLM理解和处理文本的最小基本单位。Token 不一定是一个单词也不一定是一个汉字。它的切分方式取决于模型使用的“分词器”Tokenizer。不仅是单词在英文中一个 Token 可以是一个完整的单词如 Apple也可以是单词的一部分如 ing甚至是一个标点符号或字符。不仅是文字对于计算机来说它最终看到的并不是这些文字而是每个 Token 对应的唯一数字编号ID。例如模型可能会把“我”标记为 ID1“喜欢”标记为 ID2然后将这些数字转化为高维向量进行数学运算。举个例子如果我们要处理英文单词 inexplicable无法解释的• 人类看到的是一个完整的词。• AI通过子词分词技术可能会把它拆解为三个 Tokenin-不、explic解释的词根、able能够。• 这样做的好处是即使 AI 没见过 inexplicable 这个整词它也能通过认识这三个零件来理解它的意思。如何看多少 Token?前面我们讲到了可以用分词器将文本转化为 Tokens。OpenAI 分词器https://platform.openai.com/tokenizer这里不同的颜色代表不同的 token我们可以一目了然地看到切分后的 token。我们不仅可以看到它分词的文本还可以看到每个 token 的 ID。火山引擎也提供了 tokens 计算器可以在上面选择模型然后可以看到对应的每字符数和 tokens 数量。传送门https://console.volcengine.com/ark/region:arkcn-beijing/tokenCalculator?DeepSpeed 的官方文档里面也给出了大概的换算标准还给出了换算的工具包。不同模型的分词不同一般情况下一个英文字符大概 0.3 个 token一个中文字符大概 0.6 个 token。为什么需要 Token?让机器听懂人类语言计算机本质上只能处理数字和数学运算无法直接理解人类的文本。Token 是连接人类语言文本流和机器计算数字流的桥梁。通过将文本切分为 Token 并转换为向量AI 才能在神经网络中进行矩阵运算从而捕捉词语之间的语义关系寻找效率的“黄金平衡点”在设计 AI 时科学家面临两难选择Token 机制是目前最优的解决方案•如果按“字符”切分a, b, c...词表很小但句子会变得极长例如 Deep Learning 只有两个单词但有十几个字符。这会让计算量呈指数级爆炸且单个字符很难承载完整的语义。•如果按“单词”切分Word-level词表会大得离谱包含所有变形如 look, looks, looked且一旦遇到没见过的生僻词Out-Of-Vocabulary模型就会“傻眼”。•Token子词分词的优势它保留了常见词的完整性同时将生僻词拆解为常见的词根。这既控制了词表大小通常几万到十几万又保证了模型能处理几乎所有的文本兼顾了效率和能力。理论照进现实接下来让我们理论照进现实。那我们在一些大模型平台上可以看到某个模型它支持的上下文窗口数然后输入 tokens 和输出 tokens 的价格。那上下文窗口数指的就是大模型一次最多可以处理的 tokens 数量。$21/M input tokens 是指每 100 万个输入 Token收费 21 美元。$168/M output tokens 是指每 100 万个输出 Token收费 168 美元。细心的你会发现输出的价格通常是输入的几倍甚至十几倍。这是为什么呢输入便宜是因为当你把一段很长的话发给模型时模型可以同时看到所有的文字。GPU 可以利用并行计算能力一次性把这些文字转化并处理完。大模型生成回复时是一个字一个字往外蹦的Autoregressive自回归生成。 为了生成第 5 个字它必须先算完前 4 个字为了生成第 6 个字必须算完前 5 个字。这意味着 GPU 无法通过并行加速来“一次性写完”必须跑很多轮循环。这大大增加了推理的时间成本和算力占用。比如我们在使用 Cherry Studio 的时候就可以清楚地看到「预计」消耗多少 tokens以及输入和输出分别是多少。我们在大模型服务商的后台可以清晰地看到每次请求的输入和输出 tokens 数量以及价格、时间等等。AI 科普系列的其他文章终于有人把“智能体”的概念给我讲明白了终于有人把 RAG 的概念讲清楚了终于有人把“大语言模型”的概念给我讲明白了终于有人把 MCP 的概念给我讲明白了别再混淆智能体和工作流Anthropic 5 大工作流 实操演示看完就会创作不易如果文章对你有帮助欢迎点赞、喜欢和分享给身边需要的朋友。欢迎关注我的公众号悟鸣AI后续会陆续分享比较有用的 AI 工具和比较好的 AI 经验比较客观理性的 AI 观点等。