星战科技xingzhan.cloud
返回市场
轻量级火焰爬虫MCP服务器

轻量级火焰爬虫MCP服务器

作者：ariangibson2 星标更新：2025-09-11
安装使用来源：spider==github.com

项目介绍

Firecrawl Lite MCP Server

License: MIT

一个以隐私优先、独立运行为主的MCP服务器，提供使用本地浏览器自动化和您自己的LLM API密钥进行网页抓取和数据提取工具。无需外部依赖或API密钥

🎯 Firecrawl Lite的独特之处

🔒 隐私优先架构

  • 本地处理 - 所有网页抓取和数据提取都在您的机器上进行
  • 您的数据保持本地 - 内容在本地处理，不发送给第三方
  • 无外部服务锁定 - 不需要云API
  • 完全控制 - 您拥有自己的数据和基础设施

💰 成本效益与透明度

  • 仅按LLM使用付费 - 没有额外的订阅或API费用
  • 您的LLM提供商 - 兼容OpenAI、xAI、Anthropic、Ollama等
  • 可预测的成本 - 根据您选择的LLM费率进行透明定价

⚡ 性能与简洁性

  • 闪电般快速启动 - 轻量级设计意味着快速初始化
  • 单个容器 - 使用Docker支持简单部署
  • 最小资源使用 - 优化了效率和低内存占用

🛠️ 可用工具

✅ scrape_page - 从单个网页中提取内容

  • 用例：获取供LLMs阅读的网页内容
  • 参数：url, onlyMainContent

✅ batch_scrape - 在一次请求中抓取多个URL

  • 用例：高效处理多页
  • 参数：urls[], onlyMainContent

✅ extract_data - 使用LLM提取结构化数据

  • 用例：使用自然语言提示从页面中拉取特定数据
  • 参数：urls[], prompt, enableWebSearch

✅ extract_with_schema - 使用JSON模式提取数据

  • 用例：使用预定义模式提取结构化数据
  • 参数：urls[], schema, prompt, enableWebSearch

✅ screenshot - 对网页截图

  • 用例：捕获页面的视觉表示
  • 参数：url, width, height, fullPage

🚀 快速开始（推荐）

Claude Desktop

添加到~/Library/Application Support/Claude/claude_desktop_config.json：

{
  "mcpServers": {
    "firecrawl-lite": {
      "command": "npx",
      "args": ["-y", "@ariangibson/firecrawl-lite-mcp-server"],
      "env": {
        "LLM_API_KEY": "your_llm_api_key_here",
        "LLM_PROVIDER_BASE_URL": "https://api.x.ai/v1",
        "LLM_MODEL": "grok-code-fast-1"
      }
    }
  }
}

Claude Code (CLI)

claude mcp add firecrawl-lite npx -- -y @ariangibson/firecrawl-lite-mcp-server --env LLM_API_KEY=your_key --env L
LM_PROVIDER_BASE_URL=https://api.x.ai/v1 --env LLM_MODEL=grok-code-fast-1

Cursor

添加到您的Cursor MCP配置：

{
  "mcpServers": {
    "firecrawl-lite": {
      "command": "npx",
      "args": ["-y", "@ariangibson/firecrawl-lite-mcp-server"],
      "env": {
        "LLM_API_KEY": "your_llm_api_key_here",
        "LLM_PROVIDER_BASE_URL": "https://api.x.ai/v1",
        "LLM_MODEL": "grok-code-fast-1"
      }
    }
  }
}

⚙️ 配置

必需的环境变量

# 您的LLM API密钥（xAI、OpenAI、Anthropic等）
LLM_API_KEY=your_api_key_here

# LLM提供商基础URL
LLM_PROVIDER_BASE_URL=https://api.x.ai/v1

# LLM模型名称
LLM_MODEL=grok-code-fast-1

LLM提供商示例

# xAI (Grok)
LLM_PROVIDER_BASE_URL=https://api.x.ai/v1
LLM_API_KEY=xai-your-key-here
LLM_MODEL=grok-code-fast-1

# OpenAI
LLM_PROVIDER_BASE_URL=https://api.openai.com/v1
LLM_API_KEY=sk-your-key-here
LLM_MODEL=gpt-4o-mini

# Anthropic
LLM_PROVIDER_BASE_URL=https://api.anthropic.com
LLM_API_KEY=sk-ant-your-key-here
LLM_MODEL=claude-3-haiku-20240307

# 本地LLM (Ollama)
LLM_PROVIDER_BASE_URL=http://localhost:11434/v1
LLM_API_KEY=your-local-key
LLM_MODEL=llama2

🌐 远程部署

对于远程服务器或Docker部署，请确保至少启用一个HTTP端点（取决于您计划使用的传输协议）- 默认情况下这些端点未启用：

Docker

docker run -d \
  -p 3000:3000 \
  -e ENABLE_HTTP_STREAMABLE_ENDPOINT=true \
  -e ENABLE_SSE_ENDPOINT=true \
  -e LLM_API_KEY=your_key_here \
  -e LLM_PROVIDER_BASE_URL=https://api.x.ai/v1 \
  -e LLM_MODEL=grok-code-fast-1 \
  ariangibson/firecrawl-lite-mcp-server:latest

Claude Code (远程)

claude mcp add firecrawl-lite-remote http://your-server:3000/mcp -t http

Claude Desktop (远程)

方法1：连接器（推荐 - 只支持HTTPS） 官方Claude Desktop方法用于远程MCP服务器：

  • 前往Claude Desktop → 设置 → 连接器
  • 添加连接器：https://your-server.com:3000/mcp
  • 需要：具有有效SSL证书的HTTPS服务器

方法2：mcp-proxy（HTTP/HTTPS备用方案） 对于没有SSL证书的服务器：

pip install mcp-proxy

添加到claude_desktop_config.json：

{
  "mcpServers": {
    "firecrawl-lite": {
      "command": "mcp-proxy",
      "args": ["http://your-server:3000/sse"]
    }
  }
}

🛠️ 高级配置

代理支持

PROXY_SERVER_URL=http://your-proxy-server.com:1337
PROXY_SERVER_USERNAME=your-username
PROXY_SERVER_PASSWORD=your-password

防检测

SCRAPE_USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.3"
SCRAPE_DELAY_MIN=1000
SCRAPE_DELAY_MAX=3000

性能调整

SCRAPE_VIEWPORT_WIDTH=1920
SCRAPE_VIEWPORT_HEIGHT=1080
SCRAPE_BATCH_DELAY_MIN=2000
SCRAPE_BATCH_DELAY_MAX=5000

🛠️ 故障排除

Chrome问题

Chrome会在首次使用时自动安装。如果遇到问题：

# 手动安装
npx puppeteer browsers install chrome

# 如果损坏则重置
rm -rf ~/.cache/puppeteer && npx puppeteer browsers install chrome

连接问题

  • 验证互联网连接
  • 检查LLM提供商URL的可达性
  • 确保API密钥有效
  • 对于企业网络，配置代理设置

📊 使用示例

抓取网页

{
  "name": "scrape_page",
  "arguments": {
    "url": "https://example.com"
  }
}

批量抓取多个URL

{
  "name": "batch_scrape",
  "arguments": {
    "urls": ["https://example.com", "https://example.org"],
    "onlyMainContent": true
  }
}

使用提示提取数据

{
  "name": "extract_data",
  "arguments": {
    "urls": ["https://example.com"],
    "prompt": "提取主要文章标题和摘要"
  }
}

使用模式提取

{
  "name": "extract_with_schema",
  "arguments": {
    "urls": ["https://example.com"],
    "schema": {
      "type": "object",
      "properties": {
        "title": {"type": "string"},
        "description": {"type": "string"}
      }
    }
  }
}

🐳 容器注册表

预构建镜像可用：

Docker Hub：ariangibson/firecrawl-lite-mcp-server:latest
GitHub Container Registry：ghcr.io/ariangibson/firecrawl-lite-mcp-server:latest

两者都支持多架构（amd64，arm64），并自动更新。

🙏 致谢

该项目灵感来源于原始Firecrawl项目的杰出工作：

🔥 Firecrawl

由Mendable.ai创建的原始Firecrawl项目 - 一个具有先进功能的综合网页抓取平台。

🔥 Firecrawl MCP Server

由Firecrawl团队实施的官方MCP服务器。

我们对Firecrawl团队在网页抓取和MCP集成方面的开创性工作表示极大的感谢！ 🚀

💡 寻找企业级网页抓取？
访问**firecrawl.com**了解其零设置复杂性的云端服务。

📝 许可证

MIT许可证 - 详情见LICENSE。