在无损检测范畴,目视检测是指用人眼对被检测方针外表进行直接调查,或凭借内窥镜、镜子等光学设备进行直接调查。目视检测具有门槛低、易操作、本钱低一级长处,是结构损害检测中运用较为广泛的技能之一,如在空客系列飞机的外场运营保护中,其目视检测程序文件的份额呈现递加的趋势,A350宽体客机的目视检测程序份额已达到17%。目视检测与技能人员的才能、经历等主观因素密切相关,且极易遭到站位、光线和温度等客观条件的影响,小尺度损害的检出概率和检测精度存在显着缺少。
近年来,跟着信息科学和人工智能等新式产业的蓬勃翻开,核算机技能越来越多地运用于工业、农业和现代服务业等国民经济出产的各个环节。机器视觉技能是在摄像机等图画感知设备的基础上,使核算机具有调查、辨认和认知国际的才能。在一些不适用于人作业业的风险作业环境或人工视觉难以满意丈量或检测要求的场景,机器视觉已得到了广泛运用。关于现代规模化工业出产,人工检测产品质量功率低且精度不高,机器视觉技能则可以有用进步出产功率和检测精度,从而缩短产品出产周期,节省运营本钱。
机器视觉是一种集成摄像机、光源、处理器和检测算法等软硬件的非触摸式光学传感体系,可以主动从收集到的图画中获取信息或发生操控动作。运用核算机及其外设可以模仿人眼的视觉功用和大脑的初级判别功用,从图画或图画序列中提取信息,并进行处理,终究用于检测、丈量和操控中。
典型的工业机器视觉体系首要由视觉、机械和数据处理3大模块构成,如下图所示。
视觉模块运用光源、镜头、工业相机和图画收集卡等硬件设备完结图画的收集,机械模块担任视觉模块或被检方针的运动和操控,数据处理模块则是运用工控机运转丈量算法或检测算法,完结检测效果的处理和输出。
在典型的机器视觉检测进程中,首要运用工业相机收集被测方针的二维或三维图画,图画数据收集卡将模仿图画信息转换为数字信号传送至上位机,随后集成丈量或检测算法程序的数字图画处理体系会依据图画的像素散布、亮度、标志点和色彩等信息,运算出被测方针的损害、缺点、位姿和形状等信息,终究依据运算得到的信息输出丈量或检测效果。
机器视觉的来源最早可追溯到20世纪60年代,1965年,ROBERTS等经过核算机程序从数字图画中提取出立方体、楔形体、棱柱体等多面体的三维结构,并对物体形状及空间联系进行描绘,创始了以了解三维场景为意图的机器视觉研讨。
20世纪80年代以来,跟着激光技能、CCD(电荷耦合元件)技能的相继问世和核算机科学的飞速翻开,机器视觉技能跟着工业主动化和智能化的翻开而日趋完善。
到了21世纪,机器视觉技能现已大规模地运用于图画处理、医学确诊、智能交通、无人驾驶、工业丈量和无损检测等多个范畴。
20世纪90年代曾经,很多高级院校和研讨所已逐渐翻开面向图画处理和形式辨认的理论研讨,如DAVID提出了闻名的核算机视觉理论(Marr视觉理论),成为机器视觉研讨范畴中的重要理论结构,随后依据感知特征群的物体辨认理论结构、主动视觉理论结构、视觉集成理论结构等新概念、新理论不断呈现,为机器视觉技能的工程化运用打下了坚实基础;
20世纪90年代至21世纪初,机器视觉技能逐渐开端得到推行,并逐渐运用于机加工、轿车零部件设备、机械零件外表粗糙度的丈量、金属焊接质量检测及电路板尺度标定等许多工业范畴;
进入21世纪以来,跟着高清工业相机、高性能核算机和人工智能等新式技能的呈现,机器视觉已打破了传统的检测形式和运用范畴,向着更深层、更为多样化的范畴扩展。从二值图画收集到高分辨率、多灰度级的图画处理,从二维特征提取到三维信息解耦,机器视觉在搬迁学习、支撑向量机和卷积神经网络等人工智能技能的驱动下,正逐渐进入和打破更多杂乱的方针辨认、高精度丈量和高效检测使命。
机器视觉技能在工业范畴的运用首要体现在以下3个方面:视觉丈量、视觉引导和视觉检测。
视觉丈量首要用于精度要求较高(毫米级和微米级)、人眼调查无法完结的一些零部件尺度的精确丈量,如精细螺栓加工进程中选用机器视觉技能对零件尺度进行实时丈量,用以操控衔接空隙,确保加工精度;视觉引导是运用机器视觉快速精确地找到方针零件,引导机器人机械臂精确抓取,如视觉引导主动化设备,经过扫描东西箱内随机散布的零件得到三维图画,选用形式辨认的办法,在三维图画中获取机械臂抓取工件的最佳点,完结主动化设备出产;视觉检测则是图画收集和逻辑断定算法的归纳运用,用于检测产品或构件有无质量问题,如对裂纹、外表划伤、凹坑、断钉等结构外表损害的检测和定量表征。
整体而言,机器视觉技能已广泛运用于机械加工、设备、查验检测和状况监测等多个工业范畴,极大地进步了工业出产中的柔性和主动化程度。国内外学者在机器视觉丈量、引导和检测方面翻开了很多研讨作业。
下面以机器视觉技能在飞机结构损害检测中的运用为切入点,要点介绍该技能在飞机结构损害视觉巡检、原位在线视觉监测及智能视觉检测等方面的运用翻开。
飞机结构的周期性检测一直是外场飞机运营保护的要点环节,蒙皮、机翼和操作面等飞机结构长时刻暴露在恶劣的外界环境中,飞翔中飞机接受杂乱的交变载荷和外物冲击,极易呈现裂纹和各种冲击损害,给飞翔安全带来严重安全隐患。
针对这一问题,BAHR等在美国联邦航空局的支撑下,研制出了依据真空吸盘机器人的视觉巡检体系ROSTAM,初次完结了飞机蒙皮结构外表裂纹的主动视觉巡检。
新西兰航空与Invert Robotics公司协作研制了用于机翼和操作面检测的长途视觉巡检体系,如下图所示,技能人员只需将搭载高清摄像头的机器人安置在巡检区域,即可经过长途操控完结巡检区域的高清图画收集,进一步结合辨认算法可完结飞机结构外表裂纹和冲击损害的有用检出,巡检功率和可靠性较传统目视检测有了巨大进步。
为处理外场飞机人工检测周期长、本钱高、可达性差和漏检率高级问题,空客公司开发了依据机器视觉的新式无人机视觉检测体系,如下图所示,用于机库内飞机机身的检测,该体系装备了激光传感器,可带着视觉检测硬件体系,依据预设途径进行巡查,仅需半小时即可取得整架飞机的外部结构图画,并将图画实时上传至视觉剖析体系,与原始图画进行比照匹配,可完结外表损害的有用检出,极大地进步了飞机结构外表损害的检测功率和检测精度。
现在,国内涵飞机结构损害视觉巡检方面的运用研讨还处于起步阶段,相关作业首要聚集于机器视觉理论、办法和需求调研等实验性研讨中,短少与工程现场相结合的运用效果。
我国飞机强度研讨所将视觉巡检技能运用于飞机全机结构周期性检测中,开发了面向国产C919全机结构疲惫实验的新式损害视觉巡检体系——5G离朱,如下图所示。巡检体系经过轨迹和机械臂在机舱内移动,运用超高分辨率相机成像收集体系,结合特征提取算法,可完结0.2mm以上损害的有用检出和定量丈量,并经过5G技能将数据高速上传至云端服务器。该体系可24小时不间断地巡检全舱百余个要点检测点位,有用掩盖机舱内近80%的疲惫单薄部位,并对损害进行定时盯梢拍照,有用进步了全机要点结构损害检测的功率和智能化程度。
在飞机结构损害容限和耐久性实验进程中,对疲惫裂纹扩展进行盯梢监测是金属结构损害容限规划和寿数猜测的要点使命之一。
关于传统目视检测,为确保检测人员的安全,会将疲惫实验与其外表裂纹观测独立开来,即当载荷循环必定次数后中止加载,经过直接目视或凭借内窥镜、反光镜和放大镜等东西进行目视检测。传统目视检测是在必定的循环周次后进行,难以实时接连地盯梢、记载裂纹扩展的全进程,且观测时需频频装卸组件,非常繁琐和费时。
近年来,跟着机器视觉技能的不断老练,其实时性强、本钱低、精度高和适用范围广等优势日益凸显,国内外许多科研机构和实验出产单位已将机器视觉技能运用到飞机结构外表裂纹检测中。
VANLANDUIT等提出了一种依据数字图画相关技能的裂纹在线监测办法,经过对不一起刻点收集的图画进行方针匹配和纹路比照剖析,完结了航空铝合金构件疲惫裂纹扩展进程的不停机实时监测。
VINCITORIO等运用非均匀热载荷代替均匀热载荷作为鼓励源,提出了依据一种无透镜傅里叶数字全息干与技能的光学在线裂纹检测办法,克服了在相位翻开图中无法调查到干与条纹位移的问题,有用改善了粗糙外表裂纹检测的在线检测精度。
在国内,高红俐等规划了依据机器视觉的疲惫裂纹扩展丈量体系,体系首要由疲惫实验机、图画收集设备、摄像头设备设备及摄像头运动操控器、核算机及其摄像机标定相关软件等模块构成,如下图所示。丈量进程中,首要将实验件装夹到疲惫实验机上,翻开照明光源,调理高清摄像机至需求监测的方位,经过图画收集卡将图画实时传输至核算机,即可在裂纹丈量软件平台上完结疲惫裂纹的实时在线视觉监测。
我国飞机强度研讨所将机器视觉技能运用于某类型翼身组合体疲惫实验中,开发了用于预制裂纹扩展实时监测和高精度丈量的视觉监测体系VIS-20,体系的硬件模块用于图画的实时收集,由高清工业相机、定焦镜头、蓝光光源、夹具和工控机等组件组成;软件部分则首要担任拍照时刻设置、几许坐标系标定、曲面校对、裂纹长度精确丈量和统计剖析等作业,如下图所示。该视觉监测体系在节省很多人力和时刻本钱的一起,有用处理了飞机疲惫实验进程中裂纹扩展难以实时监测的瓶颈问题。
跟着视觉检测技能运用场景的不断扩展,传统依据图画处理和简略机器学习算法的检测技能在处理多特征、多语义和杂乱束缚问题时呈现了显着缺少。
许多国内外学者现已将深度学习,特别是深度卷积神经网络的办法运用于裂纹检测范畴。郭亚萍等运用SegNet网络完结了对工件外表裂纹的检测;DENG等提出了卷积神经网络(CNN)与依据变分形式相结合的裂纹检测办法,处理了电缆前期裂纹的检测问题。
依据处理外表裂纹检测问题办法的不同,依据深度学习的智能视觉检测技能可分为依据图画分类、依据方针检测和依据像素级切割办法3大类,如下图所示。
依据图画分类的办法可以很好地防止原始图画分辨率低、质量差的影响,但此类办法只能做到有无裂纹的分类,无法对裂纹的形状、巨细及其方位等进行判别;与依据图画分类的办法比较,依据方针检测的裂纹检测办法的辨认精度和粒度大幅度进步,但裂纹的巨细及纹路等重要信息依然无法得到;依据像素级切割办法是3类办法中精度最高的,经过对输入图画中的每个像素点都区别相对应的类别,既可对方针进行分类,又可得到裂纹的精确方位和结构。
关于结构损害检测,特别是飞机结构损害检测,不只重视损害的有无,还要求对损害的巨细和方位进行精确丈量,因而选用依据像素级切割的深度学习算法是最为适宜的。现在,此类办法已被用于路途、桥梁和飞机结构裂纹的视觉检测。
针对布景纹路较杂乱,噪声搅扰大且散布无规律的裂纹图画,李良福等提出的与滑动窗口算法相结合的依据卷积神经网络的深度桥梁裂纹分类(DBCC)模型,可用于桥梁布景面元和桥梁裂纹面元的辨认,经过增加部分响应值归一层和概率区别阈值,在必定程度上防止了图画亮度不均匀和噪声所带来的误检与漏检问题。
为完结疲惫实验中飞机结构裂纹损害的快速辨认检测,我国飞机强度研讨所提出了一种改善的全卷积网络(FCN)模型,网络模型的可视化效果如下图所示,该模型选用相似U-Net的编码器-解码器结构,以ResNet-34为主干(在ImageNet数据集上预练习)。模型对原始的ResNet-34做了两处修正,使其可以习惯方针提取的像素级猜测使命,删除了ResNet-34中的均匀池化和全衔接层,删除了终究一个残差块,因而终究的特征图巨细为输入图画的1/16,Dblock模块首要由级联和并联形式的扩张卷积组成,进一步扩展了神经网络的感触野。
依据实验收集到的34张图画进行验证,从可视化效果来看,深度学习模型可以精确提取和辨认出裂纹损害,损害辨认精确率已达到90%以上,可是裂纹在边际处有显着外扩,即存在图画过切割现象。在裂纹边际处猜测效果不抱负也是现在切割使命普遍存在的问题,原因首要有网络的下采样过多,原始标签不精确,缺少边际坚持战略等。
在核算机科学和高性能硬件设备的驱动下,机器视觉技能得到了史无前例的翻开。整体而言,机器视觉技能已成为结构损害检测范畴最具潜力的翻开方向之一,特别是在人工智能技能的推进下,智能视觉技能有望大规模代替人工目视,用于结构外表损害的快速精细化检测。新式技能的运用和遍及必定是一个机会与应战并存的翻开进程,关于飞机结构而言,机体结构外表存在很多铆钉、角落和多细节杂乱结构区,加之光线条件、实验加载和偶发轰动等不利因素的影响,机器视觉技能在飞机结构损害检测范畴的老练运用还有以下关键问题需求处理:
在结构损害前期,结构外表初始裂纹的尺度很小,存在视觉特征较弱、裂纹与布景之间比照度低、收集到的裂纹图画信息少等问题。选用惯例的视觉检测技能很难完结百微米量级细小裂纹的及时有用检出,简单呈现误检和漏检的状况。
在裂纹检测算法的实践飞机结构检测运用中,部分场景自身存在的裂纹数目少,并且裂纹数据标示作业量极大,导致现有飞机结构损害数据库体量偏少,很难有用支撑智能视觉检测中深度学习模型的练习和优化,检测体系的泛化才能和检测精度较差。
比较于传统图画处理或机器学习算法,现有智能视觉检测体系的损害检测算法大多选用全卷积操作,核算量较大,需求满足的硬件资源作为支撑。