流式传输

流式和非流式响应描述了人工智能代理如何向用户发送其答案。在流式响应中，代理在生成词语的同时就开始发送。用户在屏幕上实时看到文本逐渐增长。非流式响应则等待整个答案准备好后，一次性发送。这使得客户端代码更简单，并且更容易缓存或记录，但用户必须等待更长时间，尤其是对于大型输出。