流式响应

流式响应是AI代理可以用来向用户发送其答案的一种技术。使用流式响应，代理在生成词语的同时就开始发送。用户在屏幕上实时看到文本逐渐增长。这感觉很快，并允许用户尽早停止或更改请求。这对于长答案和类似聊天的应用程序很有用。相比之下，非流式响应等待整个答案准备好，然后一次性发送所有内容。这使得客户端代码更简单，并且更容易缓存或记录，但用户必须等待更长时间，尤其是对于大型输出。