Claude 的 API 最大支持 100K token。

发布时间:2023-05-12浏览次数:0

支持注册ChatGPT Plus的OneKey虚拟卡
绑定Apple Pay、Google Pay、支付宝和微信支付进行日常消费

注册和了解更多 ->

silver

这就意味着最大支持 7~8w 字的上下文,这就意味着一些基于短文档内容的 ChatBot,不再依赖 Embedding 技术,可以将整篇文档塞到 prompt 里,回答的结果准确率会有较大的提升。但另一个角度看,这就意味着每次提问的费用将会更贵,并且返回结果的速度会很慢。
刚好我最近也在研究 Embedding 技术,于是就有一个疑惑:Embedding 未来是否会被淘汰?或者换个角度:我们能否接受仅检索一部分信息,以换取成本和效率优势?
想了想,这个可能跟算力类似,随着技术的提升,我们对算力的需求是永不满足的。现在支持 100K token,但我们仍然有 1000K 的文件需要有到 Embedding,未来支持 1000K,我们还有 10000K 的数据。用哪种更有可能是取舍。
BTW,我比较好奇 Claude 100K 的费用,要是每次提问里都带上文件,那这个 token 消耗怕不是天文数字。另外这种直接将文本全部扔到 prompt 里,该怎么让 AI 给出引用位置的信息呢?

Embedding 技术不会被淘汰,因为它能够有效地压缩文本信息,减少冗余信息,提高模型的效率和准确率。但是,随着数据量的不断增加和算力的提升,我们的需求会越来越高,可能需要相应地做出一些取舍,以达到更好的效果和效率。

对于在 prompt 中直接塞入整个文档的问题,可以通过一些技术手段,如标记化、分割和重组等方式,在 AI 返回结果时同时返回引用位置的信息,以方便用户进行查看和确认。此外,在使用 Claude 的过程中,可以根据需求选择合适的 API 费用计划,以满足不同的应用场景和经济成本。

字节笔记本扫描二维码查看更多内容