XinheBot · 云边协同多智能体巡检系统

项目简介

面向工业场景的云边协同多智能体巡检平台，基于 LangGraph 搭建多 Agent 工程底座，实现设备图像视觉识别、图纸解析、知识库问答、设备状态上报。

• 端侧：轻量化 VLM 视觉 Agent，现场采集设备图像，完成初步缺陷识别，通过 MQTT 上报数据
• 云侧：多智能体集群，包含文档解析 Agent、推理 Agent、RAG 知识库、任务调度 Agent
• 通信层：MQTT 做设备实时上报，WebSocket 用于前端实时推送巡检结果，Redis 做任务队列、缓存、会话管理
• 存储层：支持大文件分片异步上传，支持 PDF / 图纸复杂文档解析入库

项目持续迭代：当前版本 v2.1，后续迭代方向：高并发扩容、仓储一体化大数据模块、Flutter 移动端接入。

我做了什么

1. 设计并落地云边协同多智能体架构，基于 LangGraph 实现 Agent 编排，端侧 VLM 视觉缺陷识别，完成工业设备巡检任务闭环
2. 选型并实现混合通信方案：MQTT 对接现场设备，WebSocket 向前端推送实时告警，Redis 实现任务队列、会话缓存与幂等控制
3. 自研大文件分片上传 + 后台异步解析方案，解决工业 PDF 图纸、大视频文件上传与文档解析难题
4. 搭建 RAG 专业知识库，支持图纸、技术手册自然语言问答，完成全套 HTML 交互原型、PRD 文档输出

技术栈

• 前端：Vue3 + TypeScript + Vite + Element Plus，后续迭代 Flutter 跨端移动端
• 后端：Python FastAPI + LangGraph、Redis、MQTT、PostgreSQL、Milvus、MinIO
• 演进中：高并发集群优化、仓储一体化大数据模块

迭代时间线

版本	阶段	关键能力
v1.0	基础底座	LangGraph 多智能体底座、RAG 知识库、基础交互原型
v2.0	设备接入	MQTT 设备上报、WebSocket 实时推送、Redis 任务队列
v2.1	端云协同	端侧 VLM Agent、断点续传、离线缓存（设计稿）
v2.2	高并发	Redis 集群、任务幂等、压测扩容（待开发）
v3.0	多端	Flutter 移动端巡检、实时波形可视化（待开发）

产物

• PRD：XinheBot v2.1 · 云-端协同多智能体巡检系统 PRD
• 交互原型：
  • 芯禾专业知识库 - RAG 交互原型
  • 云端协同架构设计
  • 复杂文档 PRD V3
  • 大文件分片上传与异步处理方案总结
• 演示视频：待补（B 站上传后嵌入）
• 架构图：云端协同架构设计 HTML
• 源码仓库：https://github.com/hongruicheng/my_blog.git