微软在其官网上发布并开源OmniParser V2，它可以将任何 LLM 变成能够使用计算机的Agent。可以启用 GPT-4o、DeepSeek R1、Sonnet 3.5、Qwen等来了解屏幕上的内容并采取相关操作。
可交互图标检测数据集，该数据集来自热门网页，并自动注释以突出显示可点击和可操作区域； 图标描述数据集，旨在将每个 UI 元素与其相应的功能关联起来。
更大、更清晰的图标标题 + 基础数据集与 V1 相比，延迟改善了 60%。 平均延迟：A100 上为 0.6 秒/帧，单个 4090 上为 0.8 秒。 性能强劲： ScreenSpot Pro上的平均准确率为 39.6 Agents只需要一个工具：OmniTool。使用 OmniParser + 选择的视觉模型控制 Windows 11 VM。OmniTool 开箱即用地支持以下大型语言模型 - OpenAI (4o/o1/o3-mini)、DeepSeek (R1)、Qwen (2.5VL) 或 Anthropic Computer Use。
https://huggingface.co/microsoft/OmniParser-v2.0https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/https://github.com/microsoft/OmniParser/tree/masterdemo： http://hf.co/spaces/microsoft/OmniParser-v2
