一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统及方法与流程

proceedings volumes,2008，41(2):881-888.[0009]其中，防斜拉控制技术中通过限位开关，如光电开关、电阻开关等，限制斜拉状态的起升，这种方式已经不能满足起重机快速化和智能化的需求。利用机器视觉方法，由于桥架拱度的存在，单目相机的安装存在难度，安装精度对测量结果影响大，另外单目相机无法获得吊钩中心的坐标，需要结合绳长编码器，增加了系统的复杂度和成本。[0010]双目视觉系统以其结构系统简便、获取环境信息较多、成本低等优势，在目标跟踪、识别、定位、三维重建、机器人自动导航、无人驾驶等领域有着广泛的应用，是一种非常有效的非接触测量方法。为此本专利基于双目视觉技术的三维坐标定位功能进行桥式起重机吊装前斜拉偏差的检测，并结合plc变频控制技术，实现吊装自动对中，提高桥式起重吊装作业安全的同时，提升其自动化、智能化水平。技术实现要素：[0011]本发明的目的在于提供一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统及方法，解决了现有的桥式起重机吊装防斜拉方法存在精度低、成本高的缺陷。[0012]为了达到上述目的，本发明采用的技术方案是：[0013]本发明提供的一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统，其特征在于，包括双目视觉图像采集系统、图像处理系统和plc变频控制系统，其中，所述双目视觉图像采集系统用于采集吊钩位置图像信息，并将采集到的图像信息传输至图像处理系统；所述图像处理系统用于对接收到的图像信息进行处理，用以计算吊钩的位置信息和斜拉角度，并将得到的吊钩的位置信息和斜拉角度传输至plc变频控制系统；所述plc变频控制系统用于根据接收到的吊钩的位置信息和斜拉角度，对起重机进行防摇摆控制。[0014]优选地，所述双目视觉图像采集系统布置在小车的底部，包括两台相机，两台相机采用汇聚式双目视觉方式布置；且每台相机的光轴与小车下板面之间的夹角为60°。[0015]优选地，所述每台相机的四周围绕设置有一圈点光源，所述点光源的照射方向与所对应相机光轴方向平行。[0016]优选地，所述图像处理系统包括图像采集卡和工况机，其中，所述图像采集卡与双目视觉图像采集系统的输出端连接；所述图像采集卡的输出端连接工况机的输入端；所述工况机的输出端连接plc变频控制系统。[0017]一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中方法，基于所述的一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统，包括以下步骤：[0018]步骤1，对吊装钢丝绳进行预拉紧监测及调整；[0019]步骤2，分别计算吊钩和钢丝绳起吊点的三维坐标；根据得到的吊钩和钢丝绳起吊点的三维坐标计算吊钩斜拉角度；[0020]步骤3，根据步骤2中得到的吊钩斜拉角度分别计算吊钩偏离小车方向的水平夹角、吊钩偏离大车方向的水平夹角以及钢丝绳起吊点与吊钩之间的对中偏差值；[0021]步骤4，根据步骤3中得到的吊钩偏离小车方向的水平夹角和吊钩偏离大车方向的水平夹角判断吊点与吊钩之间是否需要自动对中，若吊点与吊钩之间需要自动对中，则进入步骤5；否则，进入步骤2；[0022]步骤5，根据步骤3得到的钢丝绳起吊点与吊钩之间的对中偏差值对吊点与吊钩进行自动对中。[0023]优选地，步骤1中，吊装钢丝绳的拉紧力范围为[t0,t0(1+30％)]，其中，t0为钢丝绳重量。[0024]优选地，步骤2中，计算吊钩的三维坐标，具体方法是：[0025]s1，采集吊钩的图像信息；[0026]s2，设定oωxωyωzω为世界坐标系；o为钢丝绳起吊点；a1为钢丝绳起吊点在地面的投影点；t为吊钩中心点，l为钢丝绳起吊长度；[0027]s3，采用张正有标定法对相机进行标定，得到相机参数；[0028]s4，采用双目视觉测量方法，结合最小二乘法求得吊钩的三维坐标；[0029]计算钢丝绳起吊点的三维坐标，具体方法是：[0030]首先，起重机静止时，定义双目视觉测量系统中的其中一个相机坐标系为世界坐标系，该相机的光心坐标为(0，0，0)；钢丝绳起吊点o的坐标为(x0,y0,z0)；起吊点至地面的铅垂线为ol；在铅垂线ol上标出m、n、r三点，其三维坐标分别为m(a1,a2,a3)，n(b1,b2,b3)，r(c1,c2,c3)；[0031]接着，通过双目视觉测距原理测得m、n、r三点的世界坐标；[0032]最后，求解方程组，得到起钢丝绳起吊点o的三维坐标(x0,y0,z0)：[0033][0034]其中，l1＝om；l2＝on；l3＝or；[0035]计算吊钩斜拉角度，具体方法是：[0036]根据吊钩的三维坐标和钢丝绳起吊点的三维坐标，结合几何关系分别计算得到吊钩的斜拉角度。[0037]优选地，步骤3中，计算吊钩偏离小车方向的水平夹角、吊钩偏离大车方向的水平夹角以及钢丝绳起吊点与吊钩之间的对中偏差值，其中，钢丝绳起吊点与吊钩之间的对中偏差值包括吊钩偏离小车方向的偏差量以及吊钩偏离大车方向的偏差量；具体方法是：[0038]首先，设定oωxωyωzω为世界坐标系；o为钢丝绳起吊点；a1为钢丝绳起吊点在地面的投影点；t为吊钩中心点，l为钢丝绳起吊长度；[0039]最后，根据吊钩的三维坐标和钢丝绳起吊点的坐标，结合几何关系分别计算得到吊钩偏离小车方向的水平夹角、吊钩偏离大车方向的水平夹角以及钢丝绳起吊点与吊钩之间的对中偏差值。[0040]优选地，步骤4中，判断吊点与吊钩之间是否需要自动对中，具体方法是：[0041]若吊钩偏离小车方向的水平夹角或者吊钩偏离大车方向的水平夹角大于0.2°，则吊点与吊钩之间需要自动对中，起重机停止工作，进入步骤5；否则，吊点与吊钩之间不需要对中，起重机正常工作，且进入步骤2。[0042]优选地，步骤5中，对吊点与吊钩进行自动对中，具体方法是：[0043]起重机停止工作，利用获取钢丝绳起吊点与吊钩之间的对中偏差值，对起重机运行机构进行纠偏，直到斜拉角度在合理范围以内。[0044]与现有技术相比，本发明的有益效果是：[0045]本发明提供的一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统及方法，利用一套双目视觉系统获取桥式起重机钢丝绳起吊点与吊钩的空间三维坐标，进一步得到吊钩斜拉角度和起吊绳长，有效减少了传感器的数量，降低了系统复杂程度，使系统更加可靠；同时，利用双目视觉监测起重机吊钩斜拉状态，实时性强，环境适应性好；另外，基于监测的斜拉偏差量和plc变频控制技术，实现了桥式起重机斜拉情况下的自动对中，有效提高了桥式起重机操作的安全性，提升了起重机的自动化、智能化水平。附图说明[0046]图1是吊装防斜拉监测与自动对中流程图；[0047]图2是桥式起重机防斜拉监测与自动对中系统结构示意图；[0048]图3是基于双目视觉的桥式起重机防斜拉吊钩靶标安装俯视图；[0049]图4是吊钩斜拉角度分解示意图；[0050]图5是汇聚式双目视觉原理图；[0051]图6是plc变频控制系统控制原理图。具体实施方式[0052]下面结合附图，对本发明进一步详细说明。[0053]如图2所示，本发明提供的一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统，包括双目视觉图像采集系统4、图像处理系统2和plc变频控制系统3，其中，所述双目视觉图像采集系统用于采集吊钩位置图像信息，并将采集到的图像信息传输至图像处理系统；所述图像处理系统用于对接收到的图像信息进行处理，用以计算吊钩的位置信息和斜拉角度，并将得到的吊钩的位置信息和斜拉角度传输至plc变频控制系统；所述plc变频控制系统用于根据接收到的吊钩的位置信息和斜拉角度，对起重机进行防摇摆控制。[0054]如图3所示，所述起升机构包括定滑轮5和动滑轮7，其中，所述定滑轮5安装在小车上；所述动滑轮7套装在靶标固定销9上，所述靶标固定销9的两端固定有靶标8；同时，所述定滑轮5和动滑轮7之间通过钢丝绳6连接。[0055]图像处理系统2包括一个图像采集卡和一台工况机，安装于小车1上平面的左侧；其中，所述图像采集卡与双目视觉图像采集系统的输出端连接；所述图像采集卡的输出端连接工况机的输入端；所述工况机的输出端连接plc变频控制系统。[0056]所述图像采集卡与双目视觉图像采集系统的输出端连接，图像采集卡用于数字化相机采集的图像；所述图像采集卡的输出端连接工况机的输入端，工况机用于实时处理采集的数字图像，解算吊钩斜拉角度及对中位置偏差；所述工况机的输出端连接plc变频控制系统。[0057]如图6所示，plc变频控制系统3包括变频器、plc控制器、变频电机、制动接触器和声光报警器，其中，变频器用于调节向变频电机输出电源的电压和频率，以达到调速目的；plc控制器用于向变频器和声光报警器发出控制指令；制动接触器用于控制变频电机的减速和停止状态。[0058]双目视觉图像采集系统4采用汇聚式双目视觉的方式布置，由两台工业相机10构成，其中，两个工业相机分别安装在小车下板面的两端，每个工业相机的光轴与小车下板面夹角为60°，两个工业相机的四周均围绕一圈点光源11，其照射方向与所对应相机光轴方向平行。[0059]如图1所示，本发明提供的一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中方法，包括以下步骤：[0060]步骤1，对吊装钢丝绳进行预拉紧监测及调整[0061]为了更加准确测量吊钩斜拉角度，在负载离地前需要使吊钩预拉紧。在手动操作起升机构使吊钩慢慢上升过程中，利用桥式起重机载荷限制器中的称重传感器，如小吨位起重机没有载荷限制器的可以增加称重传感器，经过信号放大后，采集到plc中，此时如果测量的重量t小于预设的吊具和钢丝绳重量t0，通过plc程序设置，使桥式起重机的大小车机构均无法通过人工操作运行，并且发出报警铃声，plc控制起升变频器，使起升机构上升，带动吊钩继续上升，直到钢丝绳拉紧力在设置的合格范围[t0,t0(1+30％)]以内，立即自动使起升机构停止运行，至此可以进行下步的吊钩斜拉角度和吊点与吊钩对中偏差监测。[0062]步骤2，分别计算吊钩斜拉角度和钢丝绳起吊点与吊钩之间的对中偏差值[0063]基于双目视觉技术在物体三维坐标中的应用特点和优势，利用安装于小车下方的双目视觉系统采集代表吊钩位置的人工靶标图像，经过图像处理模块后对吊钩位置进行精确定位，实时获取吊钩的三维坐标t，通过与起吊点o的三维坐标计算得出θ1，θ2，θ3，根据得到的θ1，θ2，θ3计算钢丝绳起吊点与吊钩之间的对中偏差值；[0064]其中，θ1为吊钩偏离小车方向的水平夹角；θ3为吊钩偏离大车方向的水平夹角；θ2为吊钩斜拉的角度；钢丝绳起吊长度l；钢丝绳起吊点与吊钩之间的对中偏差值包括吊钩偏离小车方向的偏差量为b1t和吊钩偏离大车方向的偏差量为c1t。[0065]步骤3，吊点与吊钩进行自动对中[0066]若此时吊钩偏离小车方向的水平夹角θ1或者吊钩偏离大车方向的水平夹角θ3任意一个值大于0.2°，利用plc程序停止起重机的工作；[0067]利用获取的吊钩偏离小车方向的偏差量以及吊钩偏离大车方向的偏差量，分别控制大、小车运行机构进行纠偏，直到斜拉角度在合理范围以内；可以通过手动操作起升机构继续提升负载，正常完成后续吊装人物，以防止吊钩斜拉，并自动实现对中工作。[0068]具体地，步骤2中，吊钩斜拉角度及对中位置偏差的计算方法：[0069]如图4所示，设定oωxωyωzω为空间世界坐标系，o为钢丝绳起吊点，a1为钢丝绳起吊点在地面的投影点，t为吊钩中心点，θ1为吊钩偏离小车方向的水平夹角，θ2为吊钩斜拉的角度，l为钢丝绳起吊长度，a1t为吊钩相对起吊中心的偏差量，c1t为大车方向偏差量，b1t为小车方向偏差量；[0070]获取并计算钢丝绳起吊点和吊钩中心的三维坐标，设钢丝绳起吊点和代表吊钩中心点位置的特征靶标的三维坐标分别是(x0，y0，z0)和(xt，yt，zt)，则[0071][0072][0073]c1t＝|yt-y0|ꢀꢀꢀ(3)[0074]b1t＝|zt-z0|ꢀꢀꢀ(4)[0075]计算吊钩的三维坐标，具体方法是：[0076]由于相机的非线性模型，使用双目视觉对吊点定位前需对相机进行标定，采用张氏标定法，张氏标定法具有方法简单、精度高、鲁棒性好等优点。其思想是通过已知三维空间点的坐标和对应像素坐标系上点的坐标，求得两个坐标系之间的关系。[0077]m为世界坐标表示成齐次坐标的形式(x,y,z,1)，m为图像平面的齐次坐标(u,v,1)，s为尺度因子，a为相机的内参数矩阵，b为相机的外参数矩阵，则像素坐标系与世界坐标系的关系可表示为：[0078]sm＝abmꢀꢀꢀ(5)[0079]标定中将世界坐标系构造在z＝0的平面上，(5)式的矩阵形式为：[0080]s[u v 1]t＝a[r1 r2 r3 t][x y z 1]t＝a[r1 r2 t][x y 1]tꢀꢀꢀ(6)[0081]令单应性矩阵h＝a[r1 r2 t]，则[0082]s[u v 1]t＝h[x y 1]tꢀꢀꢀ(7)[0083]设代入(7)式可得[0084][0085]令h＝[h11 h12 h13 h21 h22 h23 h31 h32 1]t,(8)式可写为：[0086][0087]已知世界坐标系的坐标和像素坐标系的坐标，则可求出h矩阵，因为h矩阵中含有8个未知量，故最小需要4个标定点，常取标定点数目多于4，利用最小二乘法可求得h矩阵，从而h矩阵也可求得。[0088]将h矩阵与实际单应性矩阵相差1个比例因子，将实际单应性矩阵写成3个列向量的形式，即：[0089]h＝[h1 h2 h3]＝λa[r1 r2 t]ꢀꢀꢀ(10)[0090]由于r1、r2正交且模为1，则r1tr1＝r2tr2＝1且r1tr2＝0，与(10)式联立可得：[0091]h1ta-ta-1h1＝h2ta-ta-1h2且h1ta-ta-1h2＝0ꢀꢀꢀ(11)[0092](11)式中h1、h2是通过单应性求解出来的，a为相机的内参数矩阵，包括α、β、u0、v0、γ这5个未知参数，3个单应性矩阵在2个约束下可得到6个方程，要求解出这五个未知参数，则需要3个单应性矩阵，即至少需要3张不同的标定图片。[0093]由于令则：[0094][0095]n为对称矩阵，有效元素为6个，可用向量n表示：[0096]n＝[n11 n12 n22 n13 n23 n33][0097]设hi为单应性矩阵h的第i个列向量，则hi＝[hi1 hi2 hi3]t，代入(11)式化简得：[0098][0099]其中，[0100]vij＝[hi1hj1 hi1hj2+hi2hj1 hi2hj2 hi3hj1+hi1hj3 hi3hj2+hi2hj3 hi3hj3]ꢀꢀꢀ(14)[0101]联立(11)、(13)、(14)式，化简可得：[0102][0103]上式为一幅标定板图像得到的约束等式，若有b幅图像，即：vn＝0，v为2a×6的矩阵，n是1个6维向量，故至少需要3组不同的单应性矩阵，即至少需要3幅以上的图像标定才能得到n的唯一解。通过对vtv进行奇异值分解，其最小特征值对应的特征向量便是vn＝0的最小二乘解，矩阵n便可求得，其估计值是在相差1个常量因子下得到的，故：n＝λa-ta,比例因子λ和矩阵a也可求得：[0104][0105]得到矩阵a后，可根据每幅图像的单应性矩阵求得每幅图像对应的旋转矩阵r和平移向量t，即外参数也可得到：[0106][0107]以上所求为最小二乘法估计得到的解，为增加标定精度，采用最大似然估计进行优化，假设采集到p幅标定板的图像，每幅图像有d个像点，dij表示第i幅图像上第j个像点对应的标定板上的三维点，则：[0108][0109](18)式左侧表示dij的像点，ri,ti代表第i幅图像对应的旋转矩阵和平移向量，a是相机的内参数，则像点dij的概率密度函数为：[0110][0111]构造似然函数：[0112][0113]为使l(a,r,ti，dij)取得最大值，则需使取得最小值，相机内外参数的最优解即可求出。[0114]在此采用汇聚式双目视觉安装方式，原理图如图5所示。特征靶标点三维坐标为t(xt，yt，zt)，靶标点在左右相机的像素坐标分别为(u1，v1),(u2,v2)。m1,m2分别为左右相机的投影矩阵，其中：[0115][0116][0117]对于靶标点t(xt，yt，zt)左右相机的图像像素坐标系与世界坐标系的关系如下：[0118][0119][0120]联立(23)式、(24)式，消除z1，z2可得到关于xt，yt，zt的线性方程组：[0121][0122]其中，靶标点t(xt，yt，zt)为待测数据，(u1，v1)，(u2，v2)可由相机得到，左右相机的投影矩阵m1，m2可利用张氏标定法获得，由于噪声及误差因素，(25)式4个方程为非线性的，可用最小二乘法求得靶标点t的三维坐标。[0123]以矩阵形式重写(25)式：[0124][0125][0126]则靶标点t的三维坐标为：[0127][0128]进而将靶标点t的三维坐标作为吊钩的三维坐标，得到吊钩的三维坐标。[0129]计算钢丝绳起吊点的具体方法是：[0130]起重机静止时，定义双目视觉测量系统的左相机坐标系为世界坐标系，左相机的光心坐标为(0，0，0)，定滑轮几何中心点为钢丝绳起吊点o，其坐标为(x0，y0，z0)。[0131]起吊点至地面的铅垂线为ol，在铅垂线ol上标出m、n、r三点，其三维坐标分别为m(a1，a2，a3)，n(b1，b2,b3)，r(c1,c2,c3)，可通过双目视觉测距原理测得m、n、r三点的世界坐标。om＝l1,on＝l2,or＝l3,l1，l2，l3可通过手工测得，则：[0132][0133]求解方程组即可得到起吊点坐标o(x0,y0,z0)。[0134]计算吊钩斜拉角度、吊钩偏离小车方向的水平夹角、吊钩偏离大车方向的水平夹角以及钢丝绳起吊点与吊钩之间的对中偏差值，具体方法是：[0135]根据吊钩的三维坐标和钢丝绳起吊点的坐标，结合几何关系分别计算得到吊钩的斜拉角度、吊钩偏离小车方向的水平夹角、吊钩偏离大车方向的水平夹角以及钢丝绳起吊点与吊钩之间的对中偏差值。