大模型函数调用简介
大语言模型 (LLM) 擅长解决许多类型的问题。但是，它们受到以下限制：
• 模型在训练后被冻结，导致知识过时。 • 无法查询或修改外部数据。
函数调用可以解决这些缺点。函数调用有时也称为「工具使用」，因为它允许模型使用外部工具，例如 API 和函数。
向 LLM 提交提示时，您还需要向模型提供一组工具，以便模型可以使用这些工具来响应用户提示。 例如，您可以提供一个函数 get_weather，该函数接受一个位置参数，并返回该位置的天气状况信息。
处理提示时，该模型可以选择将某些数据处理任务委托给您确定的函数。模型不会直接调用函数。 相反，模型会提供结构化数据输出，其中包含要调用的函数和要使用的参数值。 例如，对于提示 北京的天气怎么样，模型可以将处理委托给 get_weather 函数，并提供位置参数值 北京。
您可以使用模型的结构化输出来调用外部 API。例如，您可以连接到天气服务 API，提供位置，并接收有关温度、云量和风况的信息。
然后，您可以将 API 输出返回给模型，使模型能够完成对提示的回答。 对于天气示例，模型可能会提供以下回答：
北京现在 18 度，多云，空气质量良好。
函数调用的应用场景
您可以使用函数调用执行以下任务：
• 与外部 API 集成 • 使用气象 API 获取天气信息 • 将地址转换为纬度/经度坐标 • 使用货币兑换 API 进行货币转换 • 构建高级聊天机器人 • 回答客户关于产品和服务的问题 • 创建一个助理来回答有关公司财务和新闻的问题 • 结构和控制函数调用 • 从原始日志数据中提取结构化实体 • 从用户输入中提取单个或多个参数 • 在函数调用中处理列表和嵌套数据结构 • 处理函数调用行为 • 处理并行函数调用和响应 • 管理模型可以调用的时间和函数 • 使用自然语言查询数据库 • 将自然语言问题转换为适用于 BigQuery 的 SQL 查询 • 多模态函数调用 • 使用图片、视频、音频和 PDF 作为输入来触发函数调用
函数调用工作原理
使用函数调用功能，需要向模型提示添加描述编程接口的结构化查询数据（称为函数声明）。 函数声明提供 API 函数的名称，说明其用途、支持的所有参数以及这些参数的说明。 将查询中的函数声明列表传递给模型后，模型会分析函数声明和查询的其余部分，以确定如何使用声明的 API 来响应请求。
然后，模型返回一个 OpenAPI 兼容架构中的对象， 其中指定了如何调用一个或多个已声明的函数， 以便回答用户的问题。然后，您可以采用建议的函数调用参数， 调用实际 API，获取响应，并将该响应提供给用户或执行进一步操作。
创建函数调用应用的过程
创建一个能够与模型交互并使用函数调用的程序，大致过程如下：
• 模型选择和设置环境。 • 使用函数声明定义和描述一组可用的函数。 • 向模型提交用户的提示和函数声明。 • 使用模型输出的结构化数据调用函数。 • 向模型提供函数输出。
我们一般创建一个应用来管理所有这些任务。应用可以是文本聊天机器人、语音客服、自动化工作流或任何其他程序。
函数声明
我们遵循 OpenAPI 架构[1] 来设计一个标准的函数声明定义，来适应大多数的大模型。
在提示中实现函数调用时，先创建一个 tools 对象， 其中包含一个或多个 函数声明。
使用 OpenAPI 架构[2] 格式定义函数。单个函数声明可以包含以下参数：
• name（字符串）：API 调用中函数的唯一标识符。• description（字符串）：全面说明函数的用途和功能。• parameters（对象）：定义函数所需的输入数据。• type（字符串）：参数的数据类型，例如string、integer、boolean。• description（字符串）：清晰说明参数的用途和预期格式。• type（字符串）：指定整体数据类型，例如object。• properties（对象）：列出各个参数，每个参数均包含：• required（数组）：列出参数名称的字符串数组 它们是函数运行所必需的。
函数声明最佳实践
• name：使用清晰、描述性强的名称，不含空格、英文句点 (.) 或短划线 (-) 字符。请改用下划线 (_) 字符 或驼峰命名法。• description：提供详细、清晰且具体的功能 说明，必要时提供示例。 避免过于宽泛或不明确 信息。• properties > type：使用强类型参数来减少模型幻觉。例如，如果参数值来自 设置时，请使用 enum 字段，而不是在说明中列出值 （例如，"type": "enum", "values": ["now_playing", "upcoming"]）。如果 参数值始终为整数，请将类型设置为integer，而不是number。• properties > description：提供具体示例和限制条件。
支持函数调用的模型
很多模型本身支持了函数调用，比如：
• OpenAI GPT • Anthropic Claude • Amazon SageMaker • Google Gemini • GLM4 • Hammer • Qwen • ...
我们可以基于这些模型和平台编写特定的程序来实现函数调用功能。
通用提示词
虽然很多平台和模型都支持原生的函数调用，为什么还要讲提示词呢：
• 首先我们很可能我们使用的模型并不支持， • 其次模型原生的函数调用格式和API并不通用，如果迁移平台的话比较麻烦。
下面讲通过提示词来实现通用的函数调用（使用 Python 代码进行格式化）。
respones_shema = {
"title": "Function Call",
"type": "object",
"properties": {
"functionCall": {
"type": "object",
"properties": {
"name": {
"type": "string",
"description": "The name of the function to call."
},
"args": {
"description": "Arguments for the function, can be any valid JSON object.",
"oneOf": [
{"type": "null"},
{"type": "boolean"},
{"type": "integer"},
{"type": "number"},
{"type": "string"},
{"type": "array"},
{"type": "object"}
]
}
},
"required": ["name", "args"],
"additionalProperties": false
}
},
"required": ["functionCall"],
"additionalProperties": false
}
system_prompts = f"""
You have access to the following tools:
{json.dumps(tools)}
You can select one of the above tools or
just response user's content and respond
with only a JSON object matching the following schema:
{json.dumps(response_schema)}
"""具体的 LLM API 调用大家可以根据不同的
