基于知识图谱的智能制造系统与多模态具身智能

1. 痛点问题

当前智能制造系统中的数字化和自动化程度较高，但是如何应用前沿的生成式人工智能技术去提高系统的智能化程度和逐步提升制造系统的经济效益是个痛点问题。制造自动化学科的本质是以物理因果关系作为基础，输入变量判别决策时间短并且对输出执行结果的准确性要求高；人工智能学科是以统计相关关系和数据作为基础的学科。智能制造产业作为制造自动化与人工智能两类学科的融合应用，在工程架构设计，项目实现和运营上如何来解决学科哲学（方法论）上的冲突，是行业的痛点。

2. 解决方案

针对智能技术的多模态特点（语音，文字，图像和多媒体），结合人机共融和知识图谱，设计面向机器人和机床制造等设备的系统框架，对于多模态的输入信息模拟人脑的分层认知和处理机制进行感知决策控制的经典行为控制。该解决方案构建的信息物理系统能够提升智能制造系统的智能水平并节省传统自动化的制造成本（例如人力，设备，通信和能源成本）从而有明显的经济效益。

图1 采用多模态具身智能的智能制造系统的原理简图

针对当前已经普遍应用的自动化制造设备与系统，利用知识图谱去规划智能系统的感知决策控制层级，并且对系统中的相关信息采集和数据学习自适应的进行规划和调整，以达到优化决策和运行的目的。该知识图谱的建立是基于产业界多年的知识经验进行知识点的抽取得到的，具有较强的普适性，并且可以进行迭代和更新，将会帮助大语言模型进行垂类小模型的Prompt Tuning微调（或者LoRA微调），从而让智能技术真实地进入制造的物理世界，即物理具身，最终实现智能制造系统的具身智能。

图2 智能制造产业的典型知识图谱

当前智能制造系统的车间环境与具身智能的典型设计框架如下图所示，做下是工业机器人在装配车间固定的工作场景，右下是经过改造后接收多模态信息输入的协作机器人的工作场景。

图3 典型的智能制造车间和机器人接收多模态具身智能升级改造

图4 基于知识图谱的具身智能制造系统中的协作机器人与工业机器人