本文分享自华为云社区《【技术分享】什么是Token?为什么GPT基于Token定价》,作者:开天aPaaS小助手Tracy。

在使用LLM大模型时,我们经常会遇到一个关键词,叫:Token。

比如:

最新版 GPT-4 Turbo 模型最高支持 128k token 上下文;

曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文;

在 GPT 商店创建角色时,核心 Prompt 最高支持 8000 token。

1. 什么是 Token?

GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。

所以Token通常指的是:文本中可以被视为一个单独单位的元素,比如单词、数字或符号。

比如:我们文章经常用到的开篇问候,“大家好,我是运营黑客。”

其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”,以及中间出现的“,”和“。”,都可以被视作一个 Token。

对于文本类生成式AI来说,“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时,它通常分两步走:

第一步:将输入的内容分解成一个个 Token;

第二步:结合这些 Token 生成回应。

2.GPT如何计算token数?

了解Token含义后,就很容易的明白token计费逻辑。

GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。

例如,你提问耗费了 100 token,GPT 根据你的输入,生成文本(也就是回答)了 200 token,那么一共消费的 token 数就是 300 。

在实际定价的过程中,因输入和输出token所带来的成本差异,所以会区分定价。

包含GPT在内的几乎所有的LLM的API都采用了Token计费模式:

例1:

例2:

例3:

基于Token计费模式,第一符合产品对象增量属性;第二符合边际成本的增量属性;对开发者来说是最容易接受和理解的一种模式。

参考链接:

https://www.zhihu.com/question/594159910/answer/3356500890

https://www.zhihu.com/question/594159910/answer/2972923596

https://3ms.huawei.com/km/groups/3664365/blogs/details/13643749

点击关注,第一时间了解华为云新鲜技术~

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐