integration · 2026-09-28
流式输出、超时与重试:接入时要区分的三个阶段
流式响应减少首字等待时间,但连接建立、持续读取和失败重试需要分别处理。
RelayAI · English
开启流式输出
在兼容的 Chat Completions 请求中设置 stream: true,服务端会以 SSE 分块返回。前端应逐块渲染,并在流结束后保存完整答案。应用需要区分连接前失败与已经收到部分内容后的中断。
为不同阶段设置超时
连接超时用于发现不可达的网络路径;读取超时应允许模型持续输出。实际阈值取决于模型、输入长度和业务体验,应先在自己的调用链中测量,再配置 SDK 与代理层。
只重试可安全重试的请求
429、502、503 可在有限次数内退避重试;先遵循 Retry-After。已经收到部分流内容时,直接重发可能生成不同答案并产生新的计费请求,需由应用决定是否让用户重新发起。保留 request_id 便于排查。