AI教程
图解大语言模型部署
文章把自部署大模型时要盯的指标分成延迟、吞吐、资源、服务质量、成本五类，逐一说明定义、参考区间与常见误解，包括 TTFT 与 Prefill Time 的区别、TPOT/ITL 统计口径、P95/P9
标签
性能压测
持续整理这个方向的优质中文知识。
持续整理这个方向的优质中文知识。
文章把自部署大模型时要盯的指标分成延迟、吞吐、资源、服务质量、成本五类，逐一说明定义、参考区间与常见误解，包括 TTFT 与 Prefill Time 的区别、TPOT/ITL 统计口径、P95/P9