LiteLLM v1.102.1：一个网关接入 100 多家大模型，流式护栏全新升级

GitHub 2 万多星的明星开源项目 LiteLLM 发布 v1.102 版本：护栏（Guardrails）终于能在流式响应中实时生效，边生成边改写，不用等整段输出结束。

为什么全网都在聊它

LiteLLM 把 OpenAI、Anthropic、Gemini、DeepSeek、通义千问等 100 多家模型统一成同一套 OpenAI 格式接口，换模型只改一行配置。

9 月 23 日的 v1.102 版本把护栏检查从「响应结束后」提前到「流式传输中」，敏感内容可以边生成边拦截重写，这是企业接入大模型的关键能力。

统一网关：所有模型走同一个 OpenAI 格式 API，代码不用为每家模型重写。

预算与限流：按项目、按用户设置花费上限和速率限制，防止账单失控。

流式护栏：内容合规检查在流式输出过程中实时进行。

日志追踪：每次调用记录模型、耗时、Token 用量，方便成本核算。

本站提供官方 PyPI 源码包（tar.gz，约 18.5MB）直链下载。

解压后执行 pip install 即可安装；搭配本站《LiteLLM 网关搭建图文教程》十分钟跑起来。

本文整理自公开资料并附上配套资源；涉及产品的功能与价格以官方页面为准。资源仅供学习交流，请遵循来源许可。