湖南大学王耀南院士团队：智能制造测量机器人关键技术研究综述丨JME封面文章

发布日期：2024-10-28

引用论文

王耀南, 谢核, 邓晶丹, 毛建旭, 李文龙, 张辉. 智能制造测量机器人关键技术研究综述[J]. 机械工程学报, 2024, 60(16): 1-18.

WANG Yaonan, XIE He, DENG Jingdan, MAO Jianxu, LI Wenlong, ZHANG Hui. Overview of Key Technologies for Measurement Robots in Intelligent Manufacturing[J]. Journal of Mechanical Engineering, 2024, 60(16): 1-18.

http://www‍.cjmenet.com.cn/CN/10.3901/JME.2‍024.16‍.001

(戳链接，下载全文)

复杂曲面构件是航空航天、海洋舰船等领域高端装备的核心组成部分，其测量精度对保障高端装备制造品质具有不可替代的基础支撑作用。为克服传统手工、专机等制造方式的局限性，三维视觉引导的机器人系统为复杂曲面构件的高端化智能化加工提供新思路，并逐渐成为机器人化智能制造领域的研究热点。湖南大学王耀南院士团队综述围绕机器人三维测量方法，首先根据传感器类型和应用场景，对不同制造场景的测量方案特点进行全面归纳，以帮助研究人员快速全面地认识和理解该领域。然后按照测量流程，将关键核心技术归纳为系统标定、测量规划、点云融合、特征识别等，综述各类别近十年的主要研究成果，分析现有研究存在的不足。最后总结机器人测量面临的技术挑战，并从应用场景、测量需求、测量手段等方面对未来的发展趋势进行了展望。

本文作为《机械工程学报》2024年第16期的封面文章发表，期望相关工作为智能制造测量机器人技术发展提供参考。

行业现状

复杂曲面构件在高端装备制造中有重要的作用，尤其是在航空航天和海洋舰船等领域。为了保障这些高端装备的制造品质，精确的测量是必不可少的。传统测量方法主要依靠量具、模具以及手工或半自动的仪器，这些方法存在效率低、灵活性差等问题。

随着自动化和人工智能技术的发展，机器人光学测量作为一种新兴的测量方法受到了广泛关注。与传统测量方法相比，机器人测量在复杂曲面制造中具有诸多优势。通过视觉引导可以减少人为因素对测量的影响，达到更高的精度；机器人能够自动执行测量任务，保证了结果的一致性和重复性，尤其适用于大规模复杂曲面构件的测量。同时，这种方法不需要直接接触曲面，适应复杂的形状和结构，具有更高的灵活性和效率。

然而，机器人测量也面临诸多挑战。由于曲面形状的多样性，方案设计和参数设置变得复杂；测量传感器的性能、系统标定精度和路径规划模式也会影响测量的准确性和效率；此外，制造过程中的环境振动和工件变形等因素也可能影响测量的稳定性。

本论文综述了机器人三维测量技术的研究进展，归纳了测量过程中涉及的关键核心技术，包括系统标定、测量规划、点云融合与特征识别。同时，分析了现有研究中的不足，指出机器人测量技术面临的挑战，并对未来的发展方向进行了展望。这为相关领域的研究人员和工程师提供了全面的参考。

智能制造测量机器人应用现状

非接触式光学测量技术的多样化应用：详细介绍了非接触式测量传感器在智能制造领域的应用，包括立体视觉、结构光、激光跟踪、飞行时间测量等不同类型传感器的特点和用途。这些传感器在不同的制造场景下展现出独特的优势，如物料的6D位姿估计、机器人导航、装配引导、质量检测等，极大地提升了制造自动化水平。

上下料位姿估计技术的进步：通过结构光和立体视觉测量技术，工业机器人可以精准识别和抓取散乱物体，提升了上下料流程的效率和灵活性。多家国际公司（如FANUC、ABB、KUKA等）已经推出相关产品，显著降低了视觉系统的开发成本和周期。

坡口焊接与加工寻位的应用优化：机器人在坡口焊接和磨削铣削领域的应用得到了深入探讨。分析了“先扫后割”与“边扫边割”两种作业模式的优劣，指出后者适合高效生产线，但技术难度大，并且通过视觉引导技术提升了机器人的加工精度和效率。

装配引导技术的发展：详细介绍了光学测量技术在航空装配领域的应用，特别是在蒙皮和大部件装配中的重要性。通过三维配准与高精度自动定位技术，帮助实现了部件装配过程中的最优位姿和装配间隙最小化，提升了装配的精度和效率。

质量检测的自动化提升：质量检测领域通过机器人携带三维扫描仪实现了工件的自动检测。如德国Gom公司和美国NASA等的先进检测系统，能够通过智能规划扫描路径，实现高精度、高效率的自动检测，国内相关技术也在逐步缩小与国外的差距。

数字孪生测量系统的创新应用：湖南大学基于数字孪生的机器人三维测量系统，突破了传统路径规划受限于零件类型与摆放姿态的瓶颈，实现了随意放置曲面零件的自主扫描路径规划，提升了测量效率和准确性，体现了智能制造的前沿技术应用。

图1 典型视觉引导的加工装备

图2 国外典型的机器人检测装备

图3 湖南大学机器人数字孪生测量系统

智能制造测量机器人关键技术

机器人测量系统标定

✦

手眼标定技术：通过齐次变换矩阵准确确定扫描仪与机器人的相对位姿，保障机器人多视角点云数据的获取。
标定方法多样性：针对不同安装位置、姿态、传感器类型提供了同步标定与分步标定等方法，提升标定精度。
自标定创新：引入无需参照物的自标定技术，利用几何不变量或主动视觉法，实现传感器参数估计，提升自动化应用灵活性。

机器人测量路径规划

✦

主动感知路径规划：基于已知模型或未知模型生成候选视点，通过视觉锥模型、八叉树等技术实现精准路径规划，确保测量覆盖全面。
智能化测量路径：将传统的固定式编程路径规划转化为智能化的路径优化，通过自动生成视点和路径，提升复杂工件的测量精度与效率。
多机器人协同路径规划：研究多机器人协同完成复杂部件的完整检测与扫描路径规划，满足高精度测量需求。

多视角点云数据融合

✦

点云拼合技术改进：提出了迭代最近点（ICP）方法的多种改进，包括基于深度学习的点云配准，极大提高了拼合效率和精度。
多视角数据融合挑战：研究多视角数据的无模型拼合与有模型拼合，针对复杂曲面实现高精度点云融合，满足大型复杂部件的测量需求。

三维点云几何特征识别

✦

基于模型的特征识别：通过曲面特征（如平面、球面、圆弧等）识别，实现工件的精准定位与检测，为后续加工和装配提供数据支持。
深度学习特征识别：使用PointNet及其衍生网络进行几何特征提取，克服了点云的无序性问题，提升特征识别的精度和效率。
动态几何识别：针对装配过程中位姿变化和弱刚性变形，提出了结合深度学习与物理模型的动态目标识别与跟踪技术，实现了高时空精度的动态识别。

图4 基于一般参照物的机器人测量系统标定技术路线

图5 机器人测量路径规划通用技术路线

图6 多视角点云数据融合技术路线

图7 蒙皮点云圆孔特征识别实例

智能制造测量机器人应用实例

线激光位移引导的机器人等离子切割

✦

高精度动态寻位：利用线激光位移传感器对金属板材进行识别和定位，实现了机器人自动抓取、粗定位和动态寻位，提升了等离子切割的精准度。
实时路径补偿：通过机器人坡口边界动态寻位和路径实时补偿技术，显著提高了坡口切割的精度，最终使精度达到0.5 mm以内，满足了工程机械制造的要求。
自动化工艺优化：相比传统人工或机械方法，机器人等离子切割在效率和质量上都有显著提升，特别适用于异形件的加工。

视觉引导的核电叶片机器人磨削

✦

叶片位姿精准匹配：通过视觉传感器获取叶片点云并与设计模型进行最小二乘匹配，实现了工件位姿的高精度定位，为后续打磨提供了可靠的参考。
加工误差控制优化：研究了机器人在核电叶片磨削中的误差传递建模和位姿优化技术，提升了打磨的准确性，特别是在叶片曲率突变的复杂区域。
机器人磨削效率提升：相比人工打磨，机器人打磨核电叶片具有高效、精确和低劳动强度的优势，适用于高标准的工业应用。

面向航空蒙皮装配的机器人铣边定位

✦

高精度边界特征提取：通过自动视觉定位，机器人能够从蒙皮点云中提取精确的边界特征，克服了局部噪点和边界缺失的干扰，提升了铣削精度。
复杂余量计算：针对航空蒙皮的大型薄壁结构，提出了考虑蒙皮弯曲变形和装配关系的余量计算方法，保障了装配间隙和阶差的精确控制。
自动化与高效装配：机器人自动铣边定位大幅提高了蒙皮装配的效率和精度，解决了传统手工对准划线切割方式中的低效和误差问题。

图8 视觉引导的机器人等离子坡口技术路线

图9 核电叶片机器人磨削

图10 蒙皮制造场景与点云边界提取

结论与展望

复杂曲面的实时高精度测量面临传感器灵敏度、数据处理速度、噪声干扰等挑战。未来的研究方向包括提升传感器采样率、优化数据处理算法、结合深度学习技术进行几何特征识别、引入自适应控制系统及误差校正机制。这些改进将大幅提升机器人在复杂动态制造场景中的测量能力。

单机器人在大范围曲面测量中效率低下，多机协同测量可以通过通信、数据融合和路径规划，实现复杂曲面的全面覆盖和高效测量。未来挑战在于解决大规模点云通信、无模型工件的路径规划以及多视角弱特征的精确融合问题，以进一步提高大范围精密测量的能力。

由于复杂曲面的特性（如曲率突变、反光等），单一传感器难以获取完整信息。通过融合视觉图像传感器和激光位移传感器等多源数据，可以提升测量精度和鲁棒性。然而，传感器数据对齐与校准面临挑战，未来需要开发更有效的数据融合算法，以实现传感器数据的无缝集成和优化。

针对危险环境中复杂制造场景的测量需求，智能化自主测量可以降低人为误差并提高效率。结合自适应路径规划和机器学习技术，机器人可以自动优化测量策略，适应外部干扰，实现实时监控和故障检测。这将推动机器人在多变场景中的广泛应用，提升智能制造水平。

图11 机器人测量技术发展展望

作者及团队介绍

王耀南，中国工程院院士，机器人技术与智能控制专家，湖南大学教授,机器人视觉感知与控制技术国家工程研究中心主任。任中国科协委员、中国图象图形学学会理事长、中国自动化学会会士、中国计算机学会会士、中国人工智能学会会士、全国智能机器人创新联盟副理事长、国家自然科学基金委员会专家咨询委员、中国自动化学会常务理事、中国人工智能学会监事、教育部科技委人工智能与区块链技术委员会委员、湖南省自动化学会理事长等。曾任湖南大学电气与信息工程学院院长、机器人学院院长、国家863计划智能机器人领域专家、欧盟第五框架国际合作重大项目首席科学家。

长期从事机器人感知与控制技术教学科研工作，成果获国家技术发明二等奖1项、国家科技进步二等奖4项、国际IEEE机器人与自动化领域“工业应用最高奖”，省部级一等奖12项。发表国际IEEE等SCI论文200余篇，出版机器人感知与智能控制等著作15部，获国家发明专利90余项，培养博士80余名。荣获国家百千万工程人才、德国杰出洪堡学者、全国高等学校优秀教师、全国五一劳动奖章、全国先进工作者、全国创新争先奖、全国教材建设先进个人等荣誉称号。

谢核，男，1990年生，湖南大学机器人学院副教授。主要研究方向为智能制造机器人三维检测。

邓晶丹，女，2001 年出生，硕士研究生。主要研究方向为工业三维检测。

毛建旭，男，1974年生，湖南大学教授。主要研究方向为机器视觉与智能机器人系统。

李文龙，男，1980年出，华中科技大学教授，教育部长江学者特聘教授。主要研究方向为复杂零件在线测量与机器人加工。

张辉，男，1983年出生，湖南大学机器人学院教授、常务副院长，教育部长江学者特聘教授。主要从事机器人视觉检测、深度学习图像识别、智能制造机器人技术及应用。

主创作者团队主要研究方向

本团队是由王耀南院士领衔的有重要国际影响力的创新团队，形成了机器人多模态感知、机器人高性能控制、机器人集群协同规划、机器人灵巧机构作业、机器人系统技术与应用五个稳定的技术方向。承担了多项国家重大重点项目，攻克了机器人高速高精视觉感知、高效规划决策与优化调度、高性能鲁棒控制等多项关键核心技术，研制出高速多传感工业视觉检测机器人、集群协同测量与加工机器人、特种作业机器人、高端医药医疗机器人等。率先研制出国内首条航空发动机加工自动化柔性生产线、超大型水轮机加工自动化生产线、大型舰船螺旋桨加工自动化生产线、高端制药自动化柔性生产线等，成果应用于航空航天、海洋工程、轨道交通、高端制药等行业。近年来获国家自然科学奖、国家技术发明奖和国家科技进步奖等7项，为支撑我国制造业转型升级、重大工程高质量实施和国防装备智能化建设发挥了重要作用。

团队相关文章推荐

[1] Xie He, Li Wenlong, Liu Hui. General Geometry Calibration Using Arbitrary Free-Form Surface in a Vision-Based Robot System, IEEE Transactions on Industrial Electronics, 2022,69(6)：5994 - 6003.

[2] Xie He, Wang Yaonan, Zhang Hui, et al. Iterative Fine Point-Set Matching of a Free-Form Surface Based on the Point-to-Sphere Distance. IEEE/ASME Transactions on Mechatronics, 2022, 27(6): 5668 – 5678.

[3] Wu Zijie, Wang Yaonan, Xie He, et al. A Systematic Point Cloud Edge Detection Framework for Automatic Aircraft Skin Milling. IEEE Transactions on Industrial Informatics, 2023, 20(1) : 560-572.

[4] Wu Zijie, Wang Yaonan, Xie He, et al. Gravitational Discriminative Optimization for Multiview Reconstruction of Free-Form Surface." IEEE/ASME Transactions on Mechatronics 2023，28(6): 3226-3237.

[5] Chen Yurong, Wang Yaonan, Zhang Hui, et al. Prior Image Guided Snapshot Compressive Spectral Imaging. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(9)：11096-11107.

文章来源：机械工程学报