大语言模型

如何将企业内部系统通过MCP与大模型Agent打通

2025 年 8 月 24 日

企业AI落地的关键一步：通过MCP协议实现大模型与企业内部系统的高效互通，让业务能力直接赋能AI。核心内容： 1. MCP协议的核心价值与标准化连接能力 2. 两种MCP-Server实现方案对比与选型建议 3. 技术实现路径与主流开发框架推荐

写在前面

近两年，AI 技术风潮席卷而来，如何让企业内部系统（如 ERP、OMS 等）与大模型实现高效互通，已经成为 AI 落地过程中的关键一环。在过去，我们可能会通过自研代码，利用 LLM 的 Function Call 能力来打通数据与模型。但自 2024 年底 Claude 母公司 Anthropic 推出 MCP（Model Context Protocol）协议后，这一过程变得更加标准化、便捷化，让大模型具备直接调用企业内部系统的能力变得更快、更容易。今天，我们就来聊一聊：如何通过 MCP，将大模型与企业内部系统打通。

认识 MCP

先简单介绍下今天的主角——MCP。官方对 MCP 的定义是：

MCP 是一种开放协议，用于标准化应用程序如何为大型语言模型（LLM）提供上下文。可以将 MCP 类比为 AI 应用的 “USB-C 接口”。正如 USB-C 统一了设备连接外部配件的方式，MCP 也提供了将 AI 模型连接到不同数据源和工具的标准化方式，使 LLM 能够构建代理（Agent）、执行复杂工作流，并与外部世界连接。

一句话概括：MCP 定义了外部世界如何将工具、数据、资源等安全、规范地提供给大模型，从而让模型具备与外部系统交互的能力。

更详细的内容，可以参考官方文档：https://modelcontextprotocol.io/docs/getting-started/intro

本文关注的场景

本文主要讨论如何通过企业内部系统对外提供 MCP-Server 服务，从而让大模型直接调用企业业务能力。不涉及 MCP-Client 的实现，所有示例均以外部 MCP Host 为例。原因很简单：

自建 MCP Host 需要企业具备一定的大模型研发能力

对于大部分传统企业来说，往往会选择使用外部具备 MCP Host 能力的平台

当然，如果企业技术力量充足，也可以自建 MCP Host

两种实现思路

本文提供两种落地方式：

编码自建 MCP-Server
利用外部自动化平台构建 MCP-Server

没有孰优孰劣，取决于企业的技术储备与上线需求：

技术能力强 → 选择自建，灵活可控

上线速度优先 → 选择外部平台，快速搭建

接下来我们分别展开。

编码自建 MCP-Server

MCP 官方提供了多种语言的 SDK（Python、Go、TypeScript、Java 等），企业可以结合自身技术栈选择合适的实现方式。除了官方 SDK，还可以使用第三方框架，例如 Java 技术栈可选 Spring AI、LangChain4j 等等。像Spring官方对于mcp这块的案例说明也是比较完整的。

详细可以参考官方文档：https://docs.spring.io/spring-ai/reference/api/mcp/mcp-overview.html

架构建议

为了在大模型和企业内部服务之间实现可管可控的调用，我们可以在 MCP Host 与内部系统之间增加一个 MCP Server Manager，主要包含以下组件：

MCP Route：路由层，负责 MCP 服务的转发与调度

MCP Security：安全层，负责身份认证、权限管控

MCP Log：日志层，记录访问日志与工具调用日志

MCP Manager：管理模块，支持动态增删改查 MCP-Server 服务，启用/停用服务，设置授权策略，并提供访问日志查询

通过这种方式：

对外：可控制 MCP-Server 启用状态、QPS 限制、访问授权

对内：可精细化控制每个 MCP-Server 能调用的内部业务能力（如订单、会员、物流等）

这样，一个可管理、可监控、可安全控制的 MCP 企业服务桥梁就建立起来了。

利用外部自动化平台

另一种方式是使用外部自动化平台（如 dify、n8n、Activepieces、Zapier 等）。这些工具提供了强大的可视化编排能力，可以在零代码/低代码的情况下快速创建 AI 服务，其中 MCP 也已逐渐被支持。

如上图，Activepieces已经集成了MCP功能，支持将工作流、pieces集成为mcp工具，同时也支持本地化部署。我们完全可以将企业内部服务通过http形式提供给Activepieces，封装在工具中，然后对外提供mcp server。

优势

无需自行开发 MCP 协议相关逻辑

直接把企业现有的对外 API 注册成 MCP 工具即可

学习成本低，上线速度快

不足

原生安全管控较弱

日志与调用监控能力有限

改进思路

本地化部署自动化平台

诸如activepieces之类，我们可以选择本地化部署，通过管控入口IP 、内网部署等方式从一定程度上降低安全风险。

在外部工具与大模型之间增加统一的 MCP 接口网关

在企业内部服务与外部mcp server平台之间架起的MCP Tool API GW，统一管理企业对外提供的工具服务，有以下优点：

实现统一安全校验

增加日志记录与调用追踪

统一鉴权与访问控制

这种方式特别适合技术力量有限但希望快速落地的企业，只需专注于维护现有 API 接口，即可让大模型调用企业业务能力。

总结

MCP 为 AI 与企业内部系统之间架设了一条标准化、高扩展性的高速通道。无论是自建 MCP-Server还是借助外部平台，核心目标都是让大模型在安全、可控的前提下调用企业的业务能力。

技术能力强 → 自建，灵活且可深度定制

追求快速上线 → 外部平台 + 网关增强

随着 MCP 生态的完善，未来企业将能更轻松地将 ERP、OMS、CRM 等系统与大模型打通，真正实现AI 驱动业务。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

如何将企业内部系统通过MCP与大模型Agent打通

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单