🕷️ Decodo 网站抓取器

这是一个使用 Decodo 抓取 API 提供网站抓取功能的模型上下文协议（MCP）服务器。此工具允许您从网页上的特定 HTML 元素中提取文本内容。

✨ 特性

• 🌐 网站抓取：使用 Decodo API 抓取任何公开访问的网站
• 🎯 目标内容提取：从 HTML 页面中提取文本
• 🔌 MCP 集成：作为 MCP 服务器构建，可无缝集成到 AI 助手中

📦 安装

1. 从此网站下载 Claude Desktop 并登录。

https://claude.ai/download

2. 创建一个 Decodo 账户并获取您的 API 密钥：
   在 Decodo 上申请免费试用：https://visit.decodo.com/aOL4yR

3. 克隆此仓库：

git clone https://github.com/abdullahtarek/mcp_webscrapper
cd decodo-webscrapper

4. 将 main.py 文件顶部的 API 密钥替换为您自己的 Decodo API 密钥。

5. 安装 uv 和依赖项：

pip install uv

uv add "requests"
uv add "beautifulsoup4"

6. 运行 MCP 服务器并将其连接到 Claude Desktop：

运行以下命令

uv run mcp install main.py

然后运行此命令

uv run mcp install -e. main.py

🚀 使用方法

安装并连接到 Claude Desktop 后，您可以请求 Claude 抓取网站。该工具将使用 Decodo API 从指定的 HTML 元素中提取内容。

⚙️ 要求

• Python 3.8+
• uv 包管理器
• Decodo API 密钥
• Claude Desktop

🤝 贡献

欢迎贡献！请随意提交拉取请求。

📄 许可证

本项目是开源的，并在 MIT 许可证 下提供。 </中文翻译>