Token、上下文与输入预算
大模型基础、调用与模型选择#FDE#第十阶段#大模型基础、调用与模型选择#Token、上下文与输入预算约 540 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
Token 与字符、单词有什么区别？
追问 语言、数字和格式怎样影响分词？为什么不能对所有文本使用固定换算比例？
怎样估算并检查一次请求的 Token 用量？
追问 文本、消息格式与多模态输入如何计入？应使用什么与模型匹配的计算方式？
上下文窗口通常要容纳哪些内容？
追问 指令、历史、资料、工具内容与输出如何分配？具体接口还可能计入什么额外内容？
上下文上限与输出上限有什么不同？
追问 剩余输入容量和最大生成长度如何核对？设置输出上限是否保证实际输出足够？
超出输入预算时，应怎样处理？
追问 拒绝、筛选、截断或分段各有什么代价？哪些关键规则和来源不能静默丢弃？
长上下文是否保证可靠使用所有资料？
追问 信息位置、冲突和噪声可能怎样影响？如何用固定任务验证而不是只看窗口数字？
对话历史不断增长会带来什么问题？
追问 成本、延迟和过时信息如何变化？摘要或裁剪后怎样检查重要约束仍保留？
模型自己的回答应否继续作为可靠资料？
追问 历史错误可能怎样累积？用户事实、检索来源与生成内容如何区分？
文件输入怎样检查实际可用内容？
追问 格式、页数、解析与 Token 预算如何核对？上传成功能否证明全部页面已被理解？
怎样为一项任务设置明确的输入与输出预算？
追问 保留多少资料由什么证据决定？超预算时向用户提供哪些可处理反馈？