🤖 基于虚拟化身的AI语音代理

<div align="center">

由LiveKit驱动并借助MCP（模型上下文协议）增强的实时AI语音代理与虚拟化身

🚀 快速开始 • 📖 文档 • 🛠️ 安装 • 🎯 演示

</div>

---

📸 屏幕截图

🖥️ 主界面

简洁现代的界面，带有实时连接状态

🎥 带有AI化身的视频通话

全屏视频体验，带有虚拟化身互动

✨ 特性

🎭 虚拟化身集成

• 使用Tavus驱动的虚拟化身进行逼真的视频互动
• 实时唇同步与语音响应
• 可定制的虚拟化身角色和外观
• 通过LiveKit实现无缝视频流传输

🗣️ 高级语音能力

• 实时语音转文本，具有高准确性
• 自然语音合成，提供多种语音选项
• 低延迟音频处理，实现流畅对话
• 噪声消除和音频增强

🧠 AI驱动的智能

• 通过OpenAI GPT集成实现智能响应
• 具备记忆的上下文感知对话
• 针对特定用例的自定义提示工程
• 支持多轮对话

🔧 MCP协议集成

• 通过模型上下文协议实现可扩展工具系统
• 自定义函数调用能力
• 动态工具注册和管理
• 安全的工具执行环境

🌐 现代Web界面

• 适用于所有设备的响应式设计
• 实时连接状态指示器
• 带有平滑动画的美观UI组件
• 支持深色/浅色主题

📁 项目结构

📦 ai-voice-agent/
├── 🎨 frontend/                    # Next.js Web应用程序
│   ├── 📱 app/                     # Next.js 应用程序路由器
│   │   ├── (app)/                  # 主应用路由
│   │   ├── api/                    # API端点
│   │   └── components/             # 页面组件
│   ├── 🧩 components/              # 可重用UI组件
│   │   ├── livekit/               # LiveKit特定组件
│   │   ├── ui/                    # 基础UI组件
│   │   └── session-view.tsx       # 主会话界面
│   ├── 🎣 hooks/                   # 自定义React钩子
│   │   ├── useChatAndTranscription.ts
│   │   ├── useConnectionDetails.ts
│   │   └── useDebug.ts
│   └── 📦 package.json             # 前端依赖项
├── 🤖 agent.py                     # 主AI代理服务器
├── 🔧 mcp_client/                  # MCP客户端实现
│   ├── agent_tools.py              # 代理工具定义
│   ├── server.py                   # MCP服务器接口
│   └── util.py                     # 工具函数
├── 💬 prompts.py                   # AI提示模板
├── 🛠️ tools.py                     # 代理工具和函数
├── 📋 requirements.txt             # Python依赖项
└── 🔐 SSL certificates/            # 本地开发证书

🚀 快速开始

先决条件

• Python 3.11+ 和 pip
• Node.js 18+ 和 npm/pnpm
• LiveKit账户及凭证
• OpenAI API密钥
• Tavus API密钥（用于化身功能）

🛠️ 安装

1. 克隆仓库

git clone https://github.com/tr00x/mamut.git
cd mamut

3. 前端设置

# 导航到前端目录
cd frontend

# 安装Node.js依赖项
npm install
# 或
pnpm install

4. 环境配置

在根目录创建.env文件：

# OpenAI配置
OPENAI_API_KEY=your_openai_api_key_here

# LiveKit配置
LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=your_livekit_api_key
LIVEKIT_API_SECRET=your_livekit_api_secret

# Tavus配置（用于化身）
TAVUS_API_KEY=your_tavus_api_key
TAVUS_REPLICA_ID=your_replica_id

# MCP配置
MCP_SERVER_URL=http://localhost:8080

在frontend/.env.local中创建：

# LiveKit前端配置
LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=your_livekit_api_key
LIVEKIT_API_SECRET=your_livekit_api_secret

🎯 运行应用程序

终端1 - 启动AI代理

# 激活虚拟环境
source venv/bin/activate

# 在开发模式下启动代理
python agent.py dev

终端2 - 启动前端

# 导航到前端
cd frontend

# 启动开发服务器
npm run dev

🌐 访问应用程序

打开浏览器并导航至：http://localhost:3000

🎮 演示

🖥️ 桌面体验

• 全屏视频界面，带有虚拟化身
• 实时语音交互，带有视觉反馈
• 响应式控制和状态指示器

🙏 致谢

• LiveKit - 实时通信平台
• voice-agent-ui - 前端基础
• OpenAI - AI语言模型
• Tavus - 虚拟化身技术
• MCP - 模型上下文协议

---

<div align="center">

为AI交互的未来而制作 ❤️ telegram: @tr00x ⭐ Star这个仓库 • 🐛 报告问题 • 💡 请求功能

</div>