Kno2gether-Livekit-N8N-MCP

](https://youtu.be/ClVweoou9dA?si=7RSRCUxNN0Tff1FK)

该项目是 basic-mcp 的一个分支，展示了如何使用 LiveKit Agents 框架和 n8n (Nodemation)，并通过 Multimodal Control Protocol (MCP) 工具集成外部服务来构建一个强大的语音助手。

🚀 Kno2gether LiveKit 集成介绍

本项目演示了如何构建一个能够通过 MCP 工具与外部服务交互的语音 AI 助手。该助手可以理解自然语言命令并执行连接的服务中的动作。

🌟 观看我们的教程

在我们的详细教程中学习如何逐步构建此项目：

点击上方图片观看 YouTube 上的教程

特性

• 基于语音的交互，与一个有用的 AI 助手互动
• 与外部服务器（如 n8n）的 MCP 工具集成
• 使用 Deepgram 进行准确的文字转语音
• 使用 OpenAI 的 GPT-4o 进行自然语言处理
• 使用 OpenAI 进行自然发声的语音合成
• 使用 Silero 进行语音活动检测
• 由 LiveKit 提供实时通信支持

先决条件

• Python 3.9+
• API 密钥：
  • OpenAI（用于 LLM 和 TTS）
  • Deepgram（用于 STT）
• MCP 服务器端点（n8n 带有 MCP 节点）
• LiveKit 服务器（云或自托管）

安装

1. 克隆此仓库：

   git clone https://github.com/avijeett007/Kno2gether-Livekit-N8N-MCP.git
   cd Kno2gether-Livekit-N8N-MCP
   

2. 安装所需的包：

   pip install -r requirements.txt
   

3. 创建一个 .env 文件，包含您的 API 密钥和配置：

   OPENAI_API_KEY=your_openai_api_key
   DEEPGRAM_API_KEY=your_deepgram_api_key
   ZAPIER_MCP_URL=your_mcp_server_url
   

使用方法

使用 LiveKit CLI 运行代理：

python agent.py console

代理将连接到指定的 LiveKit 房间，并开始监听语音命令。它将使用连接服务器上的 MCP 工具根据用户请求执行操作。

项目结构

• agent.py：主代理实现和入口点
• mcp_client/：用于 MCP 服务器集成的包
  • server.py：MCP 服务器连接处理器
  • agent_tools.py：MCP 工具与 LiveKit 代理的集成
  • util.py：MCP 客户端的实用函数

工作原理

1. 语音处理：LiveKit 和 Deepgram 准确地将您的语音转换为文本
2. AI 理解：OpenAI 的 GPT-4o 处理您的请求并确定适当的行动
3. 工具集成：MCP 提供无缝访问通过 n8n 连接的外部服务
4. 自然响应：OpenAI TTS 将 AI 的响应转换为自然发声的语音
5. 实时通信：LiveKit 处理 WebRTC 连接以实现低延迟音频

示例语音命令

一旦连接，您可以与助手进行自然对话。具体的命令取决于您配置的 MCP 工具，可能包括：

• “今天天气怎么样？”
• “给我的团队发送关于会议的消息”
• “在我的项目管理工具中创建一个新的任务”
• “查找有关 [主题] 的信息”

订阅 Kno2gether

要获取更多像这样的 AI 教程和项目，请订阅我们的 YouTube 频道。

致谢

• LiveKit 为底层实时通信基础设施
• OpenAI 为 GPT-4o 和文本转语音
• Deepgram 为语音转文本
• Silero 为语音活动检测
• n8n 为工作流自动化和 MCP 集成
• basic-mcp 为该项目分叉的原始代码库

许可证

本项目采用 MIT 许可证 - 详情见 LICENSE 文件。