延迟

AI 模型响应所需的时间

定义

AI 中的延迟是指从向模型发送请求到收到响应之间的时间。对于聊天机器人和代码助手等实时应用，低延迟（毫秒到秒级）至关重要。影响延迟的因素包括模型大小、硬件和网络条件。流式响应（逐 token 显示输出）即使总生成时间相同也能改善感知延迟。