mcp-server-fetch-python

一个用于抓取并转换网页内容到各种格式的MCP服务器。此服务器提供了全面的工具，用于从网页中提取内容，包括对JavaScript渲染的内容和媒体文件的支持。

<a href="https://glama.ai/mcp/servers/8d0zm2o56d"><img width="380" height="200" src="https://gips3.baidu.com/it/u=2389008613,3826004700&fm=3081&app=3081&f=PNG?w=760&h=400" alt="Server Fetch Python MCP server" /></a>

功能

工具

该服务器提供四个专用工具：

• get-raw-text：直接从URL中提取原始文本内容，无需浏览器渲染

  • 参数：
    • url：目标网页的URL（文本、JSON、XML、csv、tsv等）（必需）
  • 最适合结构化数据格式或需要快速直接访问的情况

• get-rendered-html：使用无头浏览器获取完全渲染的HTML内容

  • 参数：
    • url：目标网页的URL（必需）
  • 对于需要JavaScript渲染的现代Web应用程序和单页应用（SPA）至关重要

• get-markdown：将网页内容转换为格式良好的Markdown

  • 参数：
    • url：目标网页的URL（必需）
  • 在提供干净可读的文本输出的同时，保留结构元素

• get-markdown-from-media：执行基于AI的内容从媒体文件中提取

  • 参数：
    • url：目标媒体文件的URL（图像、视频）（必需）
  • 使用计算机视觉和OCR进行视觉内容分析
  • 需要在环境变量中设置有效的OPENAI_API_KEY
  • 如果未设置API密钥或处理媒体文件出现问题，则会返回错误消息

使用方法

Claude Desktop

要与Claude Desktop一起使用，请添加服务器配置：

在MacOS上：~/Library/Application\ Support/Claude/claude_desktop_config.json
在Windows上：%APPDATA%/Claude/claude_desktop_config.json

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ]
  }
}

环境变量

可以配置以下环境变量：

• OPENAI_API_KEY：使用get-markdown-from-media工具时需要。此密钥用于AI驱动的图像分析和内容提取。
• PYTHONIOENCODING：如果输出中遇到字符编码问题，设置为"utf-8"。
• MODEL_NAME：指定要使用的模型名称。默认值为"gpt-4o"。

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ],
    "env": {
        "OPENAI_API_KEY": "sk-****",
        "PYTHONIOENCODING": "utf-8",
        "MODEL_NAME": "gpt-4o",        
    }
  }
}

本地安装

或者，您可以本地安装并运行服务器：

git clone https://github.com/tatn/mcp-server-fetch-python.git
cd mcp-server-fetch-python
uv sync
uv build

然后将以下配置添加到Claude Desktop配置文件中：

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uv",
    "args": [
      "--directory",
      "path\\to\\mcp-server-fetch-python",  # 替换为实际克隆仓库的路径
      "run",
      "mcp-server-fetch-python"
    ]
  }
}

开发

调试

您可以使用npx启动MCP Inspector，使用以下命令：

npx @modelcontextprotocol/inspector uvx mcp-server-fetch-python

npx @modelcontextprotocol/inspector uv --directory path\\to\\mcp-server-fetch-python run mcp-server-fetch-python