夹具状态统一可视
PROJECT / 04HMI / DIGITAL TWIN2024.07 — 至今
CASE STUDY / SYSTEM IN MOTION
装夹系统多模态人机交互与控制决策
把分散的夹具状态、力值数据、顺序预测和控制入口集中到一块工业平板中，让装夹决策可见、可说、可操作。
Qt6Modbus RTUVoskDigital Twin
01
OVERVIEW / PROJECT CONTEXT
大型复杂构件的智能装夹涉及多个浮动夹具和力传感器。传统界面难以同时表达空间关系、实时载荷与下一步操作建议。
PROJECT OUTPUT阶段目标：软件著作权 1 项 · 面向航空工业成飞应用
- ORGANIZATION
- 国家重点研发计划（2024YFB3310602）
- ROLE
- 工业 HMI / 多模态交互 / 测试平台集成
- PERIOD
- 2024.07 — 至今
- FOCUS
- Qt6 · Modbus RTU · Vosk · Digital Twin
语音 / 触屏 / 模型输入
现场总线测试链路
02
SYSTEM / WORKFLOW
从输入到真实执行，
系统如何形成闭环。
基于 Qt6 构建工业平板 HMI，融合语音、触摸、三维可视化与装夹顺序预测，形成夹具监测和控制闭环。
01→
工业平板
Qt6 承载三维场景、力值云图和夹具监控。
02→
多模态输入
语音与触屏统一映射为装夹控制意图。
03→
智能建议
DT 模型预测装夹顺序并给出下一步操作。
04↗
现场控制
Modbus RTU 连接智能浮动装夹测试平台。
03
ENGINEERING / BREAKDOWN
面向工业现场的三维 HMI
使用 Qt6 构建工业平板界面，在同一视图中渲染三维装夹场景、力值云图、连接状态和单夹具控制。
- 三维场景与夹具状态渲染
- 实时力值云图与监测面板
- 控制反馈与异常状态可视化
语音、触屏与模型建议统一入口
接入 Vosk 语音模型与 DT 装夹顺序预测模型，解析语义意图并将预测结果转化为可执行建议。
- 离线语音识别
- 装夹顺序预测
- 语音与触控语义统一
从界面到智能装夹系统
基于 Modbus RTU 搭建智能浮动装夹系统测试平台，完成通信、监测和控制链路联调。
- 串行总线设备管理
- 夹具启停与状态回读
- 测试平台集成与现场调试
04
FIELD NOTES / VISUAL RECORD
从屏幕到实机，
保留工程过程的证据。
图片均来自项目材料，用于呈现原型、软件界面、结构设计或真实联调状态。
* PPT 中标注的软件著作权和应用为项目阶段预计成果，部分处于待受理或推进状态。