defuddle-fetch-mcp-server

一个使用Defuddle库提供网页内容抓取能力的模型上下文协议服务器。此服务器使LLMs能够从网页中检索和处理内容，自动清理HTML并将其转换为干净、可读的Markdown。

这是一个可以替代使用Readability的默认抓取MCP服务器的插件。这通常为大多数现代网页提供了更好的结果。

对比

（使用此问题）

默认抓取MCP

Defuddle抓取MCP

https://github.com/kepano/defuddle/issues/61的内容：<br><br>MCP协议是给AI模型访问工具的标准。<br><br>有一个默认抓取MCP服务器，它使AI模型能够从网站获取内容。这使用了Readability.js，对于GitHub来说效果一般（我经常尝试用它来导航）。我很感激有GitHub MCP，但一个更通用的网络浏览解决方案在这里显得特别好。<br><br>Defuddle在处理页面时似乎显著优于Readability.js，并且拥有自定义提取器以使特定站点工作良好的模式看起来很好。<br><br>如果有人构建了一个基于Defuddle的抓取MCP服务器，那会很酷。如果我对默认抓取MCP感到足够沮丧，我可能会稍后解决这个问题 😄

# idea: 基于Defuddle的抓取MCP服务器 · Issue #61 · kepano/defuddle<br><br>URL: https://github.com/kepano/defuddle/issues/61<br><br>打开<br><br>#61<br><br>[](https://github.com/domdomegg)<br><br>## 描述<br><br>MCP协议是给AI模型访问工具的标准。<br><br>有一个默认抓取MCP服务器，它使AI模型能够从网站获取内容。这使用了Readability.js，对于GitHub来说效果一般（我经常尝试用它来导航）。我很感激有GitHub MCP，但一个更通用的网络浏览解决方案在这里显得特别好。<br><br>Defuddle在处理页面时似乎显著优于Readability.js，并且拥有自定义提取器以使特定站点工作良好的模式看起来很好。<br><br>如果有人构建了一个基于Defuddle的抓取MCP服务器，那会很酷。如果我对默认抓取MMCP感到足够沮丧，我可能会稍后解决这个问题 😄

特性

• 更好的内容提取：使用Defuddle去除网页杂乱并提取主要内容：同时保留如页面标题和关键元数据
• 灵活的输出：支持Markdown和原始HTML输出
• 分页阅读：支持通过start_index和max_length参数进行分页
• 丰富的元数据：提取标题、作者、发布日期、字数等

安装

要使用此服务器与Claude Desktop应用，请在您的claude_desktop_config.json的“mcpServers”部分添加以下配置：

{
  "mcpServers": {
    "defuddle-fetch": {
      "command": "npx",
      "args": [
        "-y",
        "defuddle-fetch-mcp-server"
      ]
    }
  }
}

组件

工具

• fetch
  • 从互联网抓取一个URL并使用Defuddle提取其内容作为干净的Markdown文本
  • 输入参数：
    • url（字符串，必需）：要抓取的URL
    • max_length（数字，可选）：返回的最大字符数。默认为5000。
    • start_index（数字，可选）：从此字符索引开始内容。默认为0。
    • raw（布尔值，可选）：获取未经Markdown转换的原始内容。默认为false。
  • 返回带有元数据的清理内容，包括标题、作者、发布日期、字数、域名和处理时间

提示

• fetch
  • 抓取一个URL并提取其内容作为干净的Markdown文本
  • 参数：
    • url（字符串，必需）：要抓取的URL

贡献

欢迎在GitHub上提交拉取请求！开始步骤如下：

1. 安装Git和Node.js
2. 克隆仓库
3. 使用npm install安装依赖项
4. 运行npm run test执行测试
5. 使用npm run build构建

要将其添加到Claude Desktop，请运行npm run build，然后在您的claude_desktop_config.json中添加以下配置：

{
  "mcpServers": {
    "defuddle-fetch": {
      "command": "node",
      "args": [
        "/path/to/clone/defuddle-fetch-mcp-server/dist/index.js"
      ]
    }
  }
}

发布

版本遵循语义化版本规范。

要发布：

1. 使用npm version <major | minor | patch>增加版本
2. 运行git push --follow-tags推送带标签
3. 等待GitHub Actions发布到NPM注册表。