Ollama重大升级：支持结构化输出

curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{"model": "llama3.1","messages": [{"role": "user", "content": "Tell me about Canada."}],"stream": false,"format": {"type": "object","properties": {"name": {"type": "string"},"capital": {"type": "string"},"languages": {"type": "array","items": {"type": "string"}}},"required": ["name","capital", "languages"]}}'

{"capital": "Ottawa","languages": ["English","French"],"name": "Canada"}

from ollama import chatfrom pydantic import BaseModelclass Country(BaseModel):name: strcapital: strlanguages: list[str]response = chat(messages=[{'role': 'user','content': 'Tell me about Canada.',}],model='llama3.1',format=Country.model_json_schema(),)country = Country.model_validate_json(response.message.content)print(country)

name='Canada' capital='Ottawa' languages=['English', 'French']

import ollama from 'ollama';import { z } from 'zod';import { zodToJsonSchema } from 'zod-to-json-schema';const Country = z.object({name: z.string(),capital: z.string(), languages: z.array(z.string()),});const response = await ollama.chat({model: 'llama3.1',messages: [{ role: 'user', content: 'Tell me about Canada.' }],format: zodToJsonSchema(Country),});const country = Country.parse(JSON.parse(response.message.content));console.log(country);

{name: "Canada",capital: "Ottawa",languages: [ "English", "French" ],}

from ollama import chatfrom pydantic import BaseModelclass Pet(BaseModel):name: stranimal: strage: intcolor: str | Nonefavorite_toy: str | Noneclass PetList(BaseModel):pets: list[Pet]response = chat(messages=[{'role': 'user','content': '''I have two pets.A cat named Luna who is 5 years old and loves playing with yarn. She has grey fur.I also have a 2 year old black cat named Loki who loves tennis balls.''',}],model='llama3.1',format=PetList.model_json_schema(),)pets = PetList.model_validate_json(response.message.content)print(pets)

pets=[Pet(name='Luna', animal='cat', age=5, color='grey', favorite_toy='yarn'), Pet(name='Loki', animal='cat', age=2, color='black', favorite_toy='tennis balls')]

from ollama import chatfrom pydantic import BaseModelclass Object(BaseModel):name: strconfidence: floatattributes: str class ImageDescription(BaseModel):summary: strobjects: List[Object]scene: strcolors: List[str]time_of_day: Literal['Morning', 'Afternoon', 'Evening', 'Night']setting: Literal['Indoor', 'Outdoor', 'Unknown']text_content: Optional[str] = Nonepath = 'path/to/image.jpg'response = chat(model='llama3.2-vision',format=ImageDescription.model_json_schema(),# Pass in the schema for the responsemessages=[{'role': 'user','content': 'Analyze this image and describe what you see, including any objects, the scene, colors and any text you can detect.','images': [path],},],options={'temperature': 0},# Set temperature to 0 for more deterministic output)image_description = ImageDescription.model_validate_json(response.message.content)print(image_description)

summary='A palm tree on a sandy beach with blue water and sky.' objects=[Object(name='tree', confidence=0.9, attributes='palm tree'), Object(name='beach', confidence=1.0, attributes='sand')], scene='beach', colors=['blue', 'green', 'white'], time_of_day='Afternoon' setting='Outdoor' text_content=None

from openai import OpenAIimport openaifrom pydantic import BaseModelclient = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")class Pet(BaseModel):name: stranimal: strage: intcolor: str | Nonefavorite_toy: str | Noneclass PetList(BaseModel):pets: list[Pet]try:completion = client.beta.chat.completions.parse(temperature=0,model="llama3.1:8b",messages=[{"role": "user", "content": '''I have two pets.A cat named Luna who is 5 years old and loves playing with yarn. She has grey fur.I also have a 2 year old black cat named Loki who loves tennis balls.'''}],response_format=PetList,)pet_response = completion.choices[0].messageif pet_response.parsed:print(pet_response.parsed)elif pet_response.refusal:print(pet_response.refusal)except Exception as e:if type(e) == openai.LengthFinishReasonError:print("Too many tokens: ", e)passelse:print(e)pass