dev·portfolio
← 所有项目

HealthAgent · 多模态健康中台

2026-09 启动 · 状态:进行中

C 端多模态健康管理 Agent,文本 / 图片 / 语音三模态交互,LangGraph 多子 Agent 协同,医疗级合规质控链路,混合 RAG 知识库,两级 RBAC 行级数据隔离。

AI AgentLangGraph多模态Qwen-OmniRAGWebSocketFlutter

🎮 交互原型

在新标签页打开全屏 →

项目简介

面向 C 端的多模态健康管理中台,覆盖饮食分析、心理健康、运动指导三大业务场景。

定位:健康管理建议助手,非医疗诊断系统,内置完整医疗安全红线、高风险二次 LLM 审查、急症 / 自伤强制求助引导。

  • 多模态输入:文本聊天、餐食图片识别、语音对话(STT → Agent → TTS 三明治架构)
  • AI 调度层:LangGraph 路由 Agent,调度饮食 / 心理 / 运动多子 Agent 协同输出综合建议
  • 知识库:四大领域知识库,四级混合 RAG:BM25 + 稠密向量检索 + RRF 融合 + BGE 重排
  • 安全合规层:Prompt 医疗红线、高风险内容二次 LLM 审查、急症前置求助引导、输出免责声明
  • 工程能力:两级 RBAC 行级鉴权、Redis 冷热分层会话记忆、接口幂等、多级降级、WebSocket 断连会话容错
  • 评测闭环:Ragas 黄金测试集 + 业务全量用例做发版门禁

与 XinheBot 形成能力对照: XinheBot B 端工业巡检——Agent 重在执行正确性,互斥任务、多租户隔离、断点续跑; HealthAgent C 端健康——Agent 重在输出安全性,多 Agent 协同、医疗合规质控、用户隐私数据隔离; 两者复用同一套 Harness Agent 工程底座。

我做了什么

  1. 设计 LangGraph 协同式 Agent 架构,实现路由 Agent 调度饮食、心理、运动子 Agent 协同推理;针对医疗风险场景,实现高风险内容二次独立 LLM 审查链路
  2. 实现多模态完整链路:Qwen-Omni 图片识别餐食做食材热量结构化入库;STT → Agent → TTS 语音三明治异步交互
  3. 搭建四级混合 RAG 架构,四大领域知识库隔离减少检索噪声;基于 Ragas 搭建评测流水线
  4. 实现健康敏感数据安全体系:两级 RBAC 行级鉴权,Redis 冷热分层记忆 L1/L2/L3 会话
  5. 输出跨端技术选型方案:uni-appX 为主框架,ECG / PPG 高频波形页面按需 Flutter Add-to-App 嵌入,同时兼容微信小程序

技术栈

  • 后端:Python FastAPI + LangGraph、Qwen-Omni、Redis、PostgreSQL、Ragas、向量数据库
  • 前端 & 跨端:Vue3 + Vite;主框架 uni-appX(App + 微信小程序);高频波形页面按需 Flutter Add-to-App 嵌入
  • 通信 & 存储:WebSocket 网关、BLE 蓝牙硬件通信、时序数据库

迭代时间线

版本阶段关键能力
v1.0Agent 底座LangGraph 协同 Agent、四大知识库混合 RAG、基础文本问答
v1.1多模态图片餐食识别、STT-TTS 语音三明治交互
v1.2安全合规医疗红线 Prompt、高风险二次审查、急症求助引导、RBAC 鉴权
v1.3评测闭环Ragas 黄金集、业务用例自动化评测门禁
v1.4跨端落地uni-appX 跨端;Flutter 波形 POC 压测、WebSocket 体征数据链路

产物

面试亮点

双项目对比话术: 我实现两套 Agent 项目,B 端 XinheBot 工业巡检,侧重执行可靠、互斥任务、多租户、断点续跑;C 端 HealthAgent 健康中台,侧重输出安全合规、多 Agent 协同、敏感隐私数据隔离。同一套 Harness 工程底座,分别验证高执行风险、高内容风险两类 AI Agent 落地场景。