近期，通义千问发布最新推理模型 QwQ-32B。
个人用户可以在更小的移动设备上、本地就能运行。
企业用户推理大模型 API 的调用成本，可再降 90%。
? DeepSeek R1：$0.14/M 输入, $2.19/M 输出
? QwQ-32B：$0.20/M 输入, $0.20/M 输出
如果是通过云上自建的方式，例如阿里云 PAI：
? DeepSeek R1：至少 2 台 8 卡 H20，100w+ / 年
? QwQ-32B：1 台单卡 H20，5w+ / 年
01
完整实现步骤
1. 环境准备
# 一键安装Higress（需Docker环境）curl -sS https://higress.cn/ai-gateway/install.sh | bash
安装完成后访问控制台http://localhost:8001，完成初始化配置。
2. 模型接入配置 1）在 Higress 控制台分别配置 DeepSeek-R1 和 QwQ-32b 的接入方式：
# 一键安装Higress（需Docker环境）curl -sS https://higress.cn/ai-gateway/install.sh | bash
2）在 Higress 控制台创建路由，按照匹配模型名称的路由规则转发给两个不同的模型。
my-deepseek-r1 这条路由，匹配模型名称精确匹配 deepseek-r1，转发给自建的 DeepSeek-R1 模型服务：
from openai import OpenAI# 统一访问Higress网关client = OpenAI(api_key="higress-api-key", # Higress控制台生成的二次鉴权密钥base_url="http://localhost:8080/v1" # Higress网关地址)# 去往 deepseek 模型response_deepseek = client.chat.completions.create(model="deepseek-r1",messages=[{"role": "user", "content": "解释量子计算"}])# 去往 qwq 模型response_qwq = client.chat.completions.create(model="qwq-32b",messages=[{"role": "user", "content": "写一首七言诗"}],)
02
Higress AI 网关的进阶功能
多模型服务只是 Higress AI 网关的基本能力之一，其他进阶能力还包括消费者鉴权、模型自动切换等，可以集中解决用户遇到的以下三类问题：
需要在 TPS 和成本之间找到平衡点，不可能无限增加资源。
没有联网搜索，大模型幻觉依然很大。
LLM 可观测，应用、网关、后端 LLM 服务的全链路，贴合 LLM 推理的指标。
我们将 AI 网关的其他能力，汇总如下。
|
| |
多模态业务整合场景，企业需同时处理文本、图像、音频、3D 等多模态数据。研发、产品团队对推理能力强的模型需求多；客服、营销、平面设计等团队对图片大模型的场景需求多；工业设计、影视制作团队对音视频大模型的场景需求多。 企业业务覆盖多个垂直领域，需针对不同行业特性调用专用模型。尤其是供应链端的企业往往服务多个行业，可能会涉及多款垂直行业的大模型需求。 复杂任务协同场景，单一任务需多个模型分工协作以提升效果。多个大模型员工协同生成内容才能起到最佳效果。 安全与效率双重要求场景，例如医疗机构的场景，处理患者数据使用专属私有模型分析，其他和患者无关的需求使用通用模型，避免敏感数据和非敏感数据在写入数据库混存。
应对方案：
AI 网关支持基于模型名称做不同后端模型的切换，实现同一个接口对接多种大模型服务，这些大模型服务可以分别部署在不同的平台，例如百炼、PAI、IDC 自建等，即便不同模型隶属于不同的开发和运维团队，也不存在协作成本。
为每个租户分配独立 API Key，控制其调用权限和资源配额度，例如部门 A 的调用资源配额是每天每人 20 次，部门 B 的调用资源配额是每天每 30 次。
支持租户自定义模型参数（如温度系数、输出长度），但需通过网关校验权限。
企业内部权限分级管控：企业内部不同角色需差异化访问模型能力。具体要求包括：
基于 RBAC（基于角色的访问控制）限制敏感功能（如模型微调、数据导出）。
出于成本考虑，多模态大模型只供设计部门调用。
记录操作日志并关联用户身份，满足内部审计需求。例如，金融企业限制风险评估模型仅限风控部门调用，防止普通员工滥用。
身份可信：确保请求方为注册/授权用户或系统。
风险拦截：防止恶意攻击、非法调用与资源滥用。
合规保障：满足数据安全法规及企业审计要求。
成本控制：基于鉴权实现精准计费与 API 配额管理。
模型自身特性引发的异常：大模型生成结果存在概率性波动，导致存在随机性输出不稳定的情况；发布新版本导致的流量有损。 用户使用不规范导致的异常：使用者请求参数不符合 API 规范，导致连接超时或中断，或者输入包含恶意构造的提示词，触发模型安全防护机制，返回空结果或错误码。 资源与性能限制：请求频次过高 ，触发限流策略，导致服务不可用，长请求占用过多内存，导致后续请求被阻塞，最终导致超时。 依赖服务故障 ：外部 API，例如 RAG 检索的数据库不可用，导致模型无法获取必要上下文。
实现方案：
AI 网关支持当某个大模型服务请求失败后，Fallback 到指定的其他大模型服务，以保证服务的健壮性和连续性。
提升资源管理：大模型对计算资源的消耗不可控，限流可以防止系统过载，确保所有用户都能获得稳定性能，尤其在高峰期。
指定用户分层：可以基于 ConsumerId 或者 API Key 进行 Token 限流。
防止恶意使用：通过限制 Token 数量来减少垃圾请求或攻击，以免受到资损。
应对方案：
AI 网关提供了 ai-token-ratelimit 插件，实现了基于特定键值的 token 限流，键值来源可以是 URL 参数、HTTP 请求头、客户端 IP 地址、consumer 名称、cookie 中 key 名称。
金融行业敏感数据处理：审核用户输入的金融交易指令、投资咨询内容，防范欺诈、洗钱等违规行为。
对模型生成的财务报告、风险评估结果进行合规性校验。医疗健康信息交互：电子病历生成内容，防止泄露患者隐私（如身份证号、诊断记录），确保 AI 生成的医疗建议符合相关法规。通过多模态大模型识别医疗影像中的敏感信息，并结合合规规则库进行自动化拦截。
社交媒体与 UGC 内容管理：实时审核用户发布的图文、视频内容，拦截涉黄、暴恐、虚假信息。对 AI 生成的推荐内容（如短视频标题、评论）进行合规性检查。
政务服务平台交互：审核公众提交的政务咨询内容，防止恶意攻击或敏感信息传播，确保 AI 生成的政策解读、办事指南符合相关法规。
电商与直播平台风控：审核商品描述、直播弹幕内容，拦截虚假宣传、违禁品信息，对 AI 生成的营销文案进行广告法、合规性检查。
防止攻击：验证输入可以阻止恶意提示注入，防止模型生成有害内容。
维护模型完整性：避免输入操纵模型，导致错误或偏见输出。
用户安全：确保输出没有有害或误导性内容，保护用户免受不良影响。
内容适度：过滤掉不适当的内容，如仇恨言论或不雅语言，特别是在公共应用中。
法律合规：确保输出符合法律和伦理标准，尤其在医疗或金融领域。
高频重复性查询场景：客服系统、智能助手等场景中，用户常提出重复问题（如“如何重置密码”“退款流程”），通过缓存常见问题的回答，避免重复调用模型，降低调用成本。
固定上下文多次调用场景：法律文件分析（如合同条款解读）、教育教材解析（如知识点问答）等场景，需对同一长文本多次提问。通过缓存上下文，避免重复传输和处理冗余数据，提升响应速度，降低调用成本。
复杂计算结果复用场景：数据分析与生成场景（如财报摘要、科研报告生成），对相同数据集的多次分析结果缓存，避免重复计算。
RAG（检索增强生成）场景中：缓存知识库检索结果（如企业内部 FAQ），加速后续相似查询的响应。
应对方案：
AI 网关提供了扩展点，可以将请求和响应的内容缓存到 Redis 中，并支持配置 Redis 服务信息、设置缓存时间。
LLM 重写 Query：基于 LLM 识别用户意图，生成搜索命令，可以大幅提升搜索增强效果。
关键词提炼：针对不同的引擎，需要生成不同的提示词，例如 Arxiv 里英文论文居多，关键词需要用英文。
领域识别：以 Arxiv 举例，Arxiv 划分了计算机科学/物理学/数学/生物学等等不同学科下的细分领域，指定领域进行搜索，可以提升搜索准确度。
长查询拆分：长查询可以拆分为多个短查询，提高搜索效率高质量数据：Google/Bing/Arxiv 搜索都只能输出文章摘要，而基于阿里云信息查询服务 IQS 对接 Quark 搜索，可以获取全文，可以提高 LLM 生成内容的质量典型应用场景效果展示。
基于 consumer 的 token 消耗统计。
基于模型的 token 消耗统计。
限流指标: 每单位时间内有多少次请求因为限流被拦截，限流消费者统计（是哪些消费者在被限流）。
缓存命中情况。
安全统计：风险类型统计、风险消费者统计。
Higress AI 网关的商业版服务
如果您已经在阿里云上自建大模型应用，希望快速获取开箱即用的 AI 网关能力，并在性能、稳定性、和阿里云其他云产品有更高的交付标准，可以直接使用阿里云云原生 API 网关，相比开源，云原生 API 网关的优势包括：
| |||
| |||
|
| ||
