什么是 TPM（Tokens Per Minute）？单次超长文本输入导致触发限流的真相

我一分钟明明只调用了一次为什么提示超限？深入解读 TPM（每分钟 Token 计数）机制，解析单次拖入百万字长文导致的隐性限流痛点。

一、很多人只看 RPM 踩中的大坑

RPM 统计的是【请求次数】，而 TPM 统计的是【每分钟消耗的 Token 吞吐量】。
即便你每分钟只发起了 1 次请求（远低于 15 RPM 的次数上限），但如果你这一笔请求直接拖入了一本包含 50 万字（即 70 万 Tokens）的超大 PDF 文件，你的单笔请求在瞬间就突破了系统分配给你的每分钟 Token 阈值，导致系统直接拒绝响应。

二、解决之道

在处理海量文档时，合理通过流式分块或利用官方 Context Caching（上下文缓存）技术，将一次性高爆发的 Token 吞吐平滑化。