流式输出(Streaming Generate Content)全代码实现:打造丝滑打字机体验
拒绝漫长等待!手把手教你消费异步生成器(Async Iterator),在前端实时渲染大模型字斟句酌的丝滑打字机动画全代码实现。
一、流式输出的用户体验质跃
如果不开启流式输出,用户需要面对空白屏幕等待 5~10 秒直到整段文章生成完毕。
开启流式输出后,首字返回时间(TTFT)缩短至 500 毫秒以内,体验极其流畅。
二、Python 流式实战代码
response = model.generate_content("请写一篇万字科幻小说大纲", stream=True)
for chunk in response:
print(chunk.text, end="", flush=True)
通过遍历 chunk 数据流并开启终端即时刷新(flush=True),字符便会如同泉水一般实时喷涌而出!