omniparser-autogui-mcp

（日语版本请点击这里）

这是一个MCP服务器，使用OmniParser分析屏幕并自动操作GUI。
已在Windows上确认。

许可证说明

这是MIT许可证，但不包括子模块和子包。
OmniParser的仓库是CC-BY-4.0。
每个OmniParser模型有不同的许可证（参考）。

安装

1. 请执行以下操作：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（在非Windows系统中，请使用 export 替代 set。）
（如果希望 langchain_example.py 能够运行，请使用 uv sync --extra langchain。）

2. 将以下内容添加到您的 claude_desktop_config.json 中：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（请将 D:\\CLONED_PATH\\omniparser-autogui-mcp 替换为您克隆的目录。）

env 允许进行以下额外配置：

• OMNI_PARSER_BACKEND_LOAD
  如果与其他客户端（如LibreChat）无法正常工作，请指定 1。

• TARGET_WINDOW_NAME
  如果您想指定要操作的窗口，请指定窗口名称。
  如果没有指定，则对整个屏幕进行操作。

• OMNI_PARSER_SERVER
  如果您希望OmniParser处理在另一台设备上进行，请指定服务器地址和端口，例如 127.0.0.1:8000。
  服务器可以通过 uv run omniparserserver 启动。

• SSE_HOST，SSE_PORT
  如果指定了这些参数，通信将通过SSE而不是stdio进行。

• SOM_MODEL_PATH，CAPTION_MODEL_NAME，CAPTION_MODEL_PATH，OMNI_PARSER_DEVICE，BOX_TRESHOLD
  这些用于OmniParser配置。
  通常情况下，不需要这些设置。

使用示例

• 在屏幕上的浏览器中搜索"MCP服务器"。

等等。