一种基于多源数据融合的整机试验监控装置及方法与流程

本发明属于飞机整机强度试验技术领域，特别涉及一种基于多源数据融合的整机试验监控装置及方法。

背景技术：

在飞机研制产业链中，整机强度试验是不可或缺的重要一环，是对整个飞机设计进行最全面、最接近真实的地面验证。

随着飞行器结构越来越复杂，现阶段整机强度试验也越来越复杂，因此对试验现场进行直观的全状态监控，满足整机强度试验人员对于试验场的立体管控可视化及试验安全的需要，可有效控制试验风险点，对提升试验质量具有重要意义。现阶段整机强度试验监控仅能实现离散的试验数据监控，尚不具备对试验现场的多类型数据融合展示。

技术实现要素：

本发明的目的在于提供一种基于多源数据融合的整机试验监控装置及方法，将部署在前端的监控摄像头获取的海量视频信息与试验机应变和位移数据进行融合显示，建立结构应变和位移参数与视频信息之间的关联，应用基于视频的可视异源数据融合算法，实现对试验重点区域的多源数据融合，为实现试验现场全状态监控提供技术支撑。

为解决上述技术问题，本发明所采用的技术方案是：

技术方案一：

一种基于多源数据融合的整机试验监控装置，所述监控装置包括：数据采集单元、数据融合单元、数据存储单元和数据显示单元；

其中，所述数据采集单元，用于采集整机试验中试验机的结构应变信息、试验机的结构位移变形信息，以及试验环境的视频信息；

所述数据融合单元，用于将试验机的结构应变信息、试验机的结构位移变形信息融合在所述试验环境的视频信息中，得到融合后的视频信息；

所述数据存储单元，用于存储所述融合后的视频信息；

所述数据显示单元，用于实时显示所述融合后的视频信息。

本发明技术方案一的特点和进一步的改进为：

(1)所述数据采集单元包含：试验应变采集设备、位移采集设备和高清视频监控设备；

所述试验应变采集设备，用于采集试验中试验机的结构应变信息；

所述位移采集设备，用于采集试验中试验机的结构位移变形信息；

所述高清视频监控设备，用于采集试验中试验环境的视频信息。

(2)所述试验应变采集设备的信号输出端、位移采集设备的信号输出端和高清视频监控设备的信号输出端分别与数据融合单元的信号输入端连接，所述数据融合单元的信号输出端与数据存储单元的信号输入端连接，所述数据存储单元的信号输出端与数据存储单元的信号输入端连接，所述数据存储单元的信号输出端与显示设备的信号输入端连接。

(3)所述高清视频监控设备为5g球机、枪机或者全景监控相机。

(4)所述数据采集单元采集的试验运行信息保存为dat格式的文件，并存储在共享文件夹中，所述dat格式的文件中存储有文字信息，采集的视频信息保存为mp4格式的文件，存储在智能视频分析服务器上；所述文字信息为整机试验中试验机的结构应变信息、试验机的结构位移变形信息，所述视频信息为试验环境的视频信息。

(5)所述数据融合单元，从所述高清视频监控设备中实时获取一帧yuv格式的试验环境的视频信息,通过使用yuv转rgb算法将dat格式文件中的文字信息与当前一帧视频信息进行叠加，得到一帧叠加后的rgb数据。

(6)所述数据融合单元中，预先设定了dat文件中的文字信息在一帧视频数据中的显示位置，所述显示位置用于表示文字信息在一帧视频数据中显示的像素点位置。

(7)所述数据存储单元，用于将每一帧叠加后的rgb数据，编码成h264视频，使用gb28181协议报文传到服务器进行存储。

技术方案二：

一种基于多源数据融合的整机试验监控方法，所述方法应用于如技术方案一所述的监控装置中，其特征在于，所述方法包括：

s1，采集整机试验中试验机的结构应变信息、试验机的结构位移变形信息，以及试验环境的视频信息；

s2，将试验机的结构应变信息、试验机的结构位移变形信息融合在所述试验环境的视频信息中，得到融合后的视频信息；

s3，存储所述融合后的视频信息；

s4，实时显示所述融合后的视频信息。

本发明技术方案提供的一种基于多源数据融合的整机试验监控装置及方法将应用到智慧实验室中，研究视频信息与试验机测试数据融合技术，实现对试验区域的数据融合一体化展示，完善试验现场的全状态监控体系，确保试验指挥人员获得较为全面的试验状态信息，提升航空强度试验监控能力。

附图说明

图1为本发明的多源数据融合整机监控装置的结构示意图；

图2为本发明的试验信息文件读取及管理流程示意图；

图3为本发明的多源数据融合数据流图。

具体实施方式

下面结合附图和具体实施方式来对本发明的技术方案作进一步的阐述。

为了获得较为全面的飞机全机强度试验状态信息，本发明实施例提供了一种基于多源数据融合的整机试验监控装置及方法，主要是通过下述技术方案实现：

本发明实施例提供一种基于多源数据融合的整机试验监控装置，如图1所示，所述监控装置包括：数据采集单元、数据融合单元、数据存储单元和数据显示单元；

其中，所述数据采集单元，用于采集整机试验中试验机的结构应变信息、试验机的结构位移变形信息，以及试验环境的视频信息；

所述数据融合单元，用于将试验机的结构应变信息、试验机的结构位移变形信息融合在所述试验环境的视频信息中，得到融合后的视频信息；

所述数据存储单元，用于存储所述融合后的视频信息；

所述数据显示单元，用于实时显示所述融合后的视频信息。

进一步的：

(1)所述数据采集单元包含：试验应变采集设备、位移采集设备和高清视频监控设备；

所述试验应变采集设备，用于采集试验中试验机的结构应变信息；

所述位移采集设备，用于采集试验中试验机的结构位移变形信息；

所述高清视频监控设备，用于采集试验中试验环境的视频信息。

(2)所述试验应变采集设备的信号输出端、位移采集设备的信号输出端和高清视频监控设备的信号输出端分别与数据融合单元的信号输入端连接，所述数据融合单元的信号输出端与数据存储单元的信号输入端连接，所述数据存储单元的信号输出端与数据存储单元的信号输入端连接，所述数据存储单元的信号输出端与显示设备的信号输入端连接。

(3)所述高清视频监控设备为5g球机、枪机或者全景监控相机。

(4)所述数据采集单元采集的试验运行信息保存为dat格式的文件，并存储在共享文件夹中，所述dat格式的文件中存储有文字信息，采集的视频信息保存为mp4格式的文件，存储在智能视频分析服务器上；所述文字信息为整机试验中试验机的结构应变信息、试验机的结构位移变形信息，所述视频信息为试验环境的视频信息。

(5)所述数据融合单元，从所述高清视频监控设备中实时获取一帧yuv格式的试验环境的视频信息,通过使用yuv转rgb算法将dat格式文件中的文字信息与当前一帧视频信息进行叠加，得到一帧叠加后的rgb数据。

(6)所述数据融合单元中，预先设定了dat文件中的文字信息在一帧视频数据中的显示位置，所述显示位置用于表示文字信息在一帧视频数据中显示的像素点位置。

(7)所述数据存储单元，用于将每一帧叠加后的rgb数据，编码成h264视频，使用gb28181协议报文传到服务器进行存储。

本发明实施例还提供一种基于多源数据融合的整机试验监控方法，所述方法应用于上述实施例所述的监控装置中，其特征在于，所述方法包括：

s1，采集整机试验中试验机的结构应变信息、试验机的结构位移变形信息，以及试验环境的视频信息；

s2，将试验机的结构应变信息、试验机的结构位移变形信息融合在所述试验环境的视频信息中，得到融合后的视频信息；

s3，存储所述融合后的视频信息；

s4，实时显示所述融合后的视频信息。

本发明技术方案提供的一种基于多源数据融合的整机试验监控装置及方法将应用到智慧实验室中，研究视频信息与试验机测试数据融合技术，实现对试验区域的数据融合一体化展示，完善试验现场的全状态监控体系，确保试验指挥人员获得较为全面的试验状态信息，提升航空强度试验监控能力。

具体的，本发明技术方案通过试验数据采集、试验数据融合处理、数据存储以及结果显示四个步骤进行实现，具体的：

1.试验数据采集。

通过数据采集单元采集试验各类型数据，采集设备主要包括试验应变采集设备、位移采集设备和高清视频监控设备。应变采集设备用于采集试验中试验机结构应变，位移采集设备用于采集试验中试验机结构位移变形，高清视频监控设备为5g球机、枪机及全景监控相机，用于采集试验中试验现场试验机及试验环境的视频数据。

试验信息保存为dat(一种文件格式)文件，内容是试验协调加载控制系统在试验过程中实时输出的试验信息，包括试验传感器反馈数据及试验运行信息等，存储在协调加载控制系统操作计算机共享文件夹中，如图2所示。

2.试验数据融合处理。

通过数据处理单元实时计算、融合接收到的试验信息数据和视频数据等各类型数据。

首先通过文件选择对话框，选择需要实时读取的dat文件路径,叠加程序提供对话框，列出dat文件的所有列，例如“name(试验名称)，loadcondition(载荷工况)”等，共27列。通过勾选这些列，将勾选后的数据叠加到视频中。叠加程序定时读取dat文件最下面的一行数据作为最新的一条数据进行叠加。可以使能或停止dat叠加。

然后，实时的从智能视频分析服务器获取一帧一帧的yuv(一种图像格式)格式的试验现场监控视频数据,通过使用优化的yuv转rgb(一种图像格式)算法将dat文件中的文字信息与当前一帧视频数据进行叠加，融合叠加位置可预先指定好，叠加后的一帧一帧的rgb数据可通过显卡实时显示出来，如图3所示。

3.数据存储。

基于智能视频分析服务器，使用gb28181(一种通信协议)协议数据包注册4台基于gb28181协议的视频设备,将每一帧叠加后的rgb数据，编码成h264(一种视频格式)视频，使用gb28181协议报文回传到智能视频分析服务器存储。

4.结果显示。

连接试验数据存储单元，在当前系统中通过视频播放的形式，实时查看数据融合后的视频数据，也可以通过智能视频分析服务器查看已经保存的融合试验信息数据后的视频数据。显示模式包括分离显示模式和融合显示模式，分离显示模式只显示视频监控数据，在融合显示模式中，可将试验信息显示在视频画面指定区域，显示试验数据融合结果。

本发明实施例首次提出了整个试验过程中的试验机结构应变参数、位移参数和视频数据等数据的融合监控思路；通过优化算法高效的将试验信息数据与现场监控视频数据等多个类型数据融合为一种类型数据，能更方便更全面的反映试验机及试验现场状态；在异常和突发情况下，可快速了解事件发生的各关联信息及融合信息，及时做出正确响应，实用性强。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。