项目介绍
HowYouSeeMe - 生产级ROS2计算机视觉系统
一个基于ROS2的生产级实时感知计算机视觉系统，使用Microsoft Kinect v2，具有RTABMap SLAM、YOLOv12目标检测、Nav2导航以及全面的机器人生态系统集成。
概述
HowYouSeeMe是一个基于ROS2的生产级计算机视觉系统，提供实时的空间意识、高级SLAM和对象识别。完全围绕ROS2 Jazzy构建，它利用了包括Nav2导航、RTABMap SLAM和TF2变换在内的完整机器人生态系统，同时通过CUDA加速和智能处理保持卓越性能。
🏗️ ROS2为中心的架构
┌─────────────────┐ ┌──────────────────┐ ┌─────────────────┐
│ Kinect v2 │───▶│ kinect2_bridge │───▶│ ROS2 Topics │
│ (CUDA 加速) │ │ (14.5 FPS) │ │ /kinect2/hd/* │
└─────────────────┘ └──────────────────┘ └─────────────────┘
│ │
▼ ▼
┌─────────────────┐ ┌──────────────────┐ ┌─────────────────┐
│ RTABMap SLAM │◀───│ HowYouSeeMe │◀───│ YOLOv12 │
│ (3D 映射) │ │ ROS2 Pipeline │ │ 检测 │
└─────────────────┘ └──────────────────┘ └─────────────────┘
│ │ │
▼ ▼ ▼
┌─────────────────┐ ┌──────────────────┐ ┌─────────────────┐
│ Nav2 导航 │ │ TF2 转换 │ │ RViz2 │
│ (路径规划) │ │ (姿态跟踪) │ │ 可视化 │
└─────────────────┘ └──────────────────┘ └─────────────────┘
核心ROS2组件
-
📡 高性能传感器桥接
- 带有CUDA加速的kinect2_bridge (14.5 FPS)
- 发布30多个ROS2主题 (高清、QHD、标清流)
- 实时RGB-D处理与智能帧管理
- 使用TF2转换进行空间坐标管理
-
🧠 先进计算机视觉流水线
- 用于生产级3D映射和定位的RTABMap SLAM
- 带GPU加速的**YOLOv12 (YOLO11)**目标检测
- 用于实时分割的SAM2 (Segment Anything Model 2) (优化用于4GB GPU)
- 由LLM按需触发的延迟加载AI模型
- 多目标跟踪，带有卡尔曼滤波器
- 使用标准的ROS2 vision_msgs发布检测结果
-
🤖 完整的机器人集成
- 自动路径规划的Nav2导航堆栈
- 带有自定义配置的RViz2可视化
- 行为树集成以实现复杂的自主行为
- 与标准ROS2生态系统兼容 (sensor_msgs, geometry_msgs)
ROS2系统架构
┌─────────────────────────────────────────────────────────────┐
│ HowYouSeeMe ROS2 系统 │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ kinect2 │ │ RTABMap │ │ Nav2 │ │
│ │ 桥接 │─▶│ SLAM │─▶│ 导航 │ │
│ │ (传感器) │ │ (映射) │ │ (规划) │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ YOLOv12 │ │ TF2 │ │ RViz2 │ │
│ │ 检测 │ │ 转换 │ │ 可视化 │ │
│ │ (视觉) │ │ (坐标) │ │ (监控) │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
🤖 机器人生态系统集成
HowYouSeeMe设计为自主机器人的核心感知模块：
- 🗺️ SLAM & 映射：RTABMap提供生产级3D映射和定位
- 🎯 导航：Nav2堆栈支持自动路径规划和障碍物规避
- 👁️ 计算机视觉：YOLOv12提供最先进的目标检测和跟踪
- 🔗 ROS2 生态系统：与标准机器人工具和框架完全兼容
🚀 快速开始
先决条件
- 操作系统：Ubuntu 24.04 LTS
- ROS2：Jazzy Jalopy
- 硬件：带USB 3.0接口的Microsoft Kinect v2
- GPU：NVIDIA，CUDA 12.0+ (推荐)
- 内存：建议8GB+
✨ 关键特性
🔍 生产级计算机视觉
- Kinect v2 桥接：全功能ROS2桥接，支持多种分辨率 (标清/QHD/高清)
- 📖 kinect2_ros2 设置 - 正确校准、过滤和点云
- RTABMap SLAM：生产级3D映射和定位，带有闭环
- 模块化CV流水线：按需处理的延迟加载AI模型
- 📖 CV流水线指南 - SAM2分割优化用于4GB GPU
- SAM2 Tiny：38.9M参数，0.28GB VRAM，每帧约0.7秒
- 延迟加载：仅在LLM请求时加载模型
- CUDA加速：适用于4GB GPU (RTX 3050)
- 实时处理：14.5 FPS RGB-D，带有智能帧管理
- GPU加速：CUDA优化处理流水线
🤖 完整的ROS2集成
- 30多个ROS2主题：全面的传感器数据和处理结果
- Nav2 导航：自动路径规划和障碍物规避
- TF2 转换：全面的空间坐标管理
- 标准消息：兼容sensor_msgs, geometry_msgs, vision_msgs
- 启动系统：灵活的部署配置
🚀 高性能架构
- CUDA加速：GPU处理性能提升6倍
- 智能处理：自适应帧丢弃，丢帧率1.1%
- 多分辨率：高清、QHD和标清流，适用于不同用例
- 资源管理：优化内存和CPU利用率
- 实时监控：全面的性能指标和可视化
🏗️ 开发状态
🚧 在开发中
- [] 基础：Kinect v2集成和基本RGB-D处理
- [] 文档：全面的项目规划和架构
- [] 生态系统设计：与DroidCore平台的集成策略
- 计算机视觉流水线：SLAM + YOLO + 分割集成
- 内存系统：基于Redis的RAG实现
- MCP服务器：模型上下文协议接口
- 盟友集成：工具调用和认知处理
🔮 计划
- 高级功能：多摄像头支持和传感器融合
- 性能优化：实时30fps处理
- 部署工具：容器化和扩展解决方案
- 移动支持：远程监控和控制界面
🤝 贡献
我们欢迎贡献！请参阅我们的开发计划，并：
- Fork 仓库
- 创建 特性分支
- 遵循 实施计划中的架构
- 彻底测试 您的更改
- 提交 包含清晰文档的pull request
开发指南
- Python：遵循PEP 8并添加类型提示
- 文档：更新相关文档以反映任何更改
- 测试：为新功能包含单元测试
- 集成：确保与生态系统组件兼容
📄 许可证
MIT许可证 - 详情见LICENSE文件。
🆘 支持
- 📧 邮件：buzzaryanrai@gmail.com
- 🐛 问题：GitHub问题
- 📖 文档：docs/ 文件夹中的全面指南
- 💬 讨论：加入DroidCore生态系统讨论
为AI驱动的机器人和世界理解的未来而建。