层任务执行链
PROJECT / 03ROBOTICS / AI2024.07 — 至今
CASE STUDY / SYSTEM IN MOTION
语义驱动的机器人视觉引导加工系统
让操作人员用自然语言描述任务，再由系统把意图逐级拆解为机器人可以理解、检查和执行的技能序列。
LLMROS2Behavior TreeVisual Servo
01
OVERVIEW / PROJECT CONTEXT
复杂曲面和薄壁构件加工常需要专家反复设置流程。项目尝试在机器人底层能力之上增加语义编排层，让任务表达更自然、执行链更可组合。
PROJECT OUTPUT阶段目标：发明专利 1 项 · 国际会议论文 1 篇
- ORGANIZATION
- 华中科技大学无锡研究院委托项目
- ROLE
- 语义解析前级 / Skill 框架 / 机器人底层算法
- PERIOD
- 2024.07 — 至今
- FOCUS
- LLM · ROS2 · Behavior Tree · Visual Servo
系统协同框架
专利与论文阶段目标
02
SYSTEM / WORKFLOW
从输入到真实执行，
系统如何形成闭环。
将自然语言转为结构化任务，以 ROS2 行为树调度感知、规划和执行，并完成视觉伺服、导纳控制等底层算法联调。
01→
自然语言
操作意图以自然语言输入，保留任务目标和约束。
02→
LLM 语义解析
大模型前级把自然语言转换为结构化指令。
03→
Skill 协同
ROS2 行为树按状态调度感知、规划与控制技能。
04↗
底层执行
视觉伺服、导纳控制与机器人接口完成真实动作。
03
ENGINEERING / BREAKDOWN
自然语言到结构化指令
构建大模型语义解析前级，把操作员输入映射为参数明确、可校验的任务描述，并传递给机器人任务层。
- 任务意图与约束抽取
- 结构化指令生成
- 为后级行为树提供统一输入
多模态 Skill 协同框架
基于 ROS2 行为树封装感知、规划和执行能力，根据实时状态组合调用，使流程具备可解释的节点状态和失败处理路径。
- 行为树式任务编排
- 多模态 Skill 注册与调用
- 感知—规划—执行自适应调度
让高层意图落到真实机械臂
完成相机标定、机器人伺服与导纳控制等底层算法开发和调试，为任务层提供稳定的动作能力。
- 手眼 / 相机标定
- 视觉引导机器人伺服
- 接触加工导纳控制
04
FIELD NOTES / VISUAL RECORD
从屏幕到实机，
保留工程过程的证据。
图片均来自项目材料，用于呈现原型、软件界面、结构设计或真实联调状态。
* PPT 中标注的专利与论文为项目阶段预计成果，部分处于待受理、受理或在投状态。