基本概念
计费单元
Token:代表常见的字符序列,每个汉字使用的 Token 数目可能是不同的。例如,单个汉字”夔”可能会被分解为若干 Token 的组合,而像”中国”这样短且常见的短语则可能会使用单个 Token。
大致来说,对于一段通常的中文文本,1 个 Token 大约相当于 1.5-2 个汉字。
部分计费单位以M单位计算。(此处 1M = 1,000,000)
其中模型的区别在于它们的最大上下文长度,这个长度包括了输入消息和生成的输出,在效果上并没有什么区别。
收费接口说明
- Chat Completion 接口收费:按照实际输入输出 tokens 的消耗计费
- 文件相关接口(文件内容抽取/文件存储)接口限时免费
返回的内容不完整或被截断
如果你发现 API 返回的内容不完整、被截断或长度不符合预期,那是因为该模型所支持的最大 Tokens 数量(例如,对于 moonshot-v1-32k
模型,它最大支持 32k Tokens)减去输入内容的 Tokens 数量,得到的值即是本次请求的 max_tokens
值。若请求返回超过此值,在这种情况下, API 仅会返回该模型支持输出的 Tokens 内容,多余的内容将会被丢弃,即上文所说“内容不完整”或“内容被截断”。
因此在长篇小说创作时需要注意,尽量选择支持长上下文的模型(例如,对于 Hunyuan-Standard 256K 模型,它最大支持 256K Tokens)
HunYuan-Standard 256K 模型的主要功能和技术特点:
- 超长文本处理能力:单次处理字符数超过38万个,具备处理超过38万字符的超长文本能力。
- 对话应用场景优化:在对话应用场景中能够“记忆”更多的对话内容,有效避免“忘记”信息等问题。
- 上下文分析能力:为对话参与者提供更为精确和相关的反馈,辅助决策。
- 采用的技术:采用混合专家模型(MoE)结构,并融合了RoPE-NTK和Flash Attention V2等创新技术。
- 性能提升:在长文本处理上的准确率达到99.99%,在国际上处于领先地位。
HunYuan-Standard 256K 模型的应用场景:
- 金融领域:迅速提炼和总结金融报告要点,提高处理速度和准确性。
- 医疗领域:帮助医疗专业人士分析病例和研究报告,提供精准信息。
- 教育领域:提供个性化学习建议和反馈,辅助教学。- 多模态能力:除了文生文,还能处理文生图、图生图、文生视频等多种模态数据。
通过上述信息,可以看出HunYuan-Standard 256K 模型不仅具有强大的超长文本处理和分析能力,还能为各行各业提供智能化的解决方案,包括支持长篇小说的处理。