什么是Token?为什么大模型要计算Token数
大模型不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。
本文分享自华为云社区《【技术分享】什么是Token?为什么GPT基于Token定价》,作者:开天aPaaS小助手Tracy。
在使用LLM大模型时,我们经常会遇到一个关键词,叫:Token。
比如:
最新版 GPT-4 Turbo 模型最高支持 128k token 上下文;
曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文;
在 GPT 商店创建角色时,核心 Prompt 最高支持 8000 token。
1. 什么是 Token?
GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。
所以Token通常指的是:文本中可以被视为一个单独单位的元素,比如单词、数字或符号。
比如:我们文章经常用到的开篇问候,“大家好,我是运营黑客。”
其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”,以及中间出现的“,”和“。”,都可以被视作一个 Token。
对于文本类生成式AI来说,“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时,它通常分两步走:
第一步:将输入的内容分解成一个个 Token;
第二步:结合这些 Token 生成回应。
2.GPT如何计算token数?
了解Token含义后,就很容易的明白token计费逻辑。
GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。
例如,你提问耗费了 100 token,GPT 根据你的输入,生成文本(也就是回答)了 200 token,那么一共消费的 token 数就是 300 。
在实际定价的过程中,因输入和输出token所带来的成本差异,所以会区分定价。
包含GPT在内的几乎所有的LLM的API都采用了Token计费模式:
例1:
例2:
例3:
基于Token计费模式,第一符合产品对象增量属性;第二符合边际成本的增量属性;对开发者来说是最容易接受和理解的一种模式。
参考链接:
https://www.zhihu.com/question/594159910/answer/3356500890
https://www.zhihu.com/question/594159910/answer/2972923596
https://3ms.huawei.com/km/groups/3664365/blogs/details/13643749
更多推荐
所有评论(0)