HealthAgent · 多模态健康中台
2026-09 启动 · 状态:进行中
C 端多模态健康管理 Agent,文本 / 图片 / 语音三模态交互,LangGraph 多子 Agent 协同,医疗级合规质控链路,混合 RAG 知识库,两级 RBAC 行级数据隔离。
AI AgentLangGraph多模态Qwen-OmniRAGWebSocketFlutter
🎮 交互原型
项目简介
面向 C 端的多模态健康管理中台,覆盖饮食分析、心理健康、运动指导三大业务场景。
定位:健康管理建议助手,非医疗诊断系统,内置完整医疗安全红线、高风险二次 LLM 审查、急症 / 自伤强制求助引导。
- 多模态输入:文本聊天、餐食图片识别、语音对话(STT → Agent → TTS 三明治架构)
- AI 调度层:LangGraph 路由 Agent,调度饮食 / 心理 / 运动多子 Agent 协同输出综合建议
- 知识库:四大领域知识库,四级混合 RAG:BM25 + 稠密向量检索 + RRF 融合 + BGE 重排
- 安全合规层:Prompt 医疗红线、高风险内容二次 LLM 审查、急症前置求助引导、输出免责声明
- 工程能力:两级 RBAC 行级鉴权、Redis 冷热分层会话记忆、接口幂等、多级降级、WebSocket 断连会话容错
- 评测闭环:Ragas 黄金测试集 + 业务全量用例做发版门禁
与 XinheBot 形成能力对照: XinheBot B 端工业巡检——Agent 重在执行正确性,互斥任务、多租户隔离、断点续跑; HealthAgent C 端健康——Agent 重在输出安全性,多 Agent 协同、医疗合规质控、用户隐私数据隔离; 两者复用同一套 Harness Agent 工程底座。
我做了什么
- 设计 LangGraph 协同式 Agent 架构,实现路由 Agent 调度饮食、心理、运动子 Agent 协同推理;针对医疗风险场景,实现高风险内容二次独立 LLM 审查链路
- 实现多模态完整链路:Qwen-Omni 图片识别餐食做食材热量结构化入库;STT → Agent → TTS 语音三明治异步交互
- 搭建四级混合 RAG 架构,四大领域知识库隔离减少检索噪声;基于 Ragas 搭建评测流水线
- 实现健康敏感数据安全体系:两级 RBAC 行级鉴权,Redis 冷热分层记忆 L1/L2/L3 会话
- 输出跨端技术选型方案:uni-appX 为主框架,ECG / PPG 高频波形页面按需 Flutter Add-to-App 嵌入,同时兼容微信小程序
技术栈
- 后端:Python FastAPI + LangGraph、Qwen-Omni、Redis、PostgreSQL、Ragas、向量数据库
- 前端 & 跨端:Vue3 + Vite;主框架 uni-appX(App + 微信小程序);高频波形页面按需 Flutter Add-to-App 嵌入
- 通信 & 存储:WebSocket 网关、BLE 蓝牙硬件通信、时序数据库
迭代时间线
| 版本 | 阶段 | 关键能力 |
|---|---|---|
| v1.0 | Agent 底座 | LangGraph 协同 Agent、四大知识库混合 RAG、基础文本问答 |
| v1.1 | 多模态 | 图片餐食识别、STT-TTS 语音三明治交互 |
| v1.2 | 安全合规 | 医疗红线 Prompt、高风险二次审查、急症求助引导、RBAC 鉴权 |
| v1.3 | 评测闭环 | Ragas 黄金集、业务用例自动化评测门禁 |
| v1.4 | 跨端落地 | uni-appX 跨端;Flutter 波形 POC 压测、WebSocket 体征数据链路 |
产物
- PRD:待补
- 交互原型:AI 前端 - 手机端 Flutter 和 Vant5 架构设计
- 演示视频:待补(B 站上传后嵌入)
- 架构图:手机端架构设计 HTML
- 源码仓库:https://github.com/hongruicheng/my_blog.git
面试亮点
双项目对比话术: 我实现两套 Agent 项目,B 端 XinheBot 工业巡检,侧重执行可靠、互斥任务、多租户、断点续跑;C 端 HealthAgent 健康中台,侧重输出安全合规、多 Agent 协同、敏感隐私数据隔离。同一套 Harness 工程底座,分别验证高执行风险、高内容风险两类 AI Agent 落地场景。