基于边缘计算的大规模传感器高频采集系统研究

本文首发于 5G工业物联。

【摘要】 基于边缘计算研究传感器高频次采集数据的传输、存储和处理技术架构，提出了传感器高频采集设备的软硬件模块组成，并形成通用数据分析处理软件框架，以长时间综合分析多个高频采集设备的数据，为物联网应用对大规模传感器数据进行挖掘处理和分析判决提供基础。

【关键词】 边缘计算；大规模传感器；高频采集

1 引言

物联网是通过智能感知、识别技术与普适计算、泛在网络的融合应用，在5G的万物互联时代，物联网要通过大规模的不同类型的传感器去感知周边物体和物理环境，为物联网应用层的数据分析提供依据。传感器采集系统实时监测、感知和采集各种环境或监测对象信息，实现物理世界多种元素、信息空间以及人类社会之间的交流，不同规模，不同采集频率对传感器采集系统的要求不一样，对大规模传感器进行高频次采集，要求传感器采集系统具备大范围高带宽的实时传输、计算、存储和处理能力，统—集中式的云计算模式无法满足此要求，多接入边缘计算(Muti-access Edge Computing, MEC)技术的出现才使其成为可能。

多接入边缘计算MEC是一种在物理上靠近数据生成位置的处理数据的方法，是5G的关键技术之一[1]。边缘计算通过使业务靠近网络边缘扩展了云计算能力，在5G网络中，被认为是能高效处理大量业务数据，满足用户对业务需求的有效技术之一。

大规模传感器高频采集系统将传感器技术、现代网络及无线通信技术、分布式信息处理技术、大规模信息处理系统等多项先进技术集中应用，基于边缘计算，通过研究大规模高频率采集传感器数据情况下传感器数据传输、存储、处理和展示技术，开发一套通用的大规模高频采集数据分析处理软件，长时间持续综合分析多个高频采集设备的数据，并提供二次开发接口，为传感器数据进一步挖掘处理提供基础，可为传感器采集系统的发展和应用推广提供更广阔的平台。

2 国内外研究现状和趋势

常见传感器(如温湿度、水量等)采集系统规模通常较小，覆盖区域集中在企业内部，其采集时间通常不超过毫秒级，也即采集频率为1000Hz以下；相对而言，大规模传感器高频采集系统其覆盖区域广(行政区一级以上区域)，涉及数量多(大于1000个以上)，采集频率高(大于1000Hz以上)。

从国内外已有的相关研究来看，在国家、省、市相关物联网的项目中，虽全方位地涵盖了低速和中高速传感器网络的体系结构、自主组网和通信协议、数据融合与管理、应用示范和测试等研究内容，但大都基于对传感器数据进行低频率采集，对高频率采集的相关研究不多。

市场上的物联网相关厂家尚在集中精力于传输协议的研究和设备的研制，以及监控系统的开发，也是基于低频次采集的，对大规模的高频次采集传感器数据处理分析技术未见报道。

对高频传感器采集进行分析的产品硬件有测量仪器，软件有NI公司的Labview，这些都是少量几个通道的短时间直接分析，未有长时间的多设备的持续综合数据分析。

在电力、管网、地震、环境等监测应用中，都有对大范围高密集的传感器进行长时间高频次采集监测的需求，有必要对此开展相关研究。

3 基于边缘计算的大规模传感器高频采集系统

大规模传感器高频采集系统具有如下特点：

（1）采集数据量大： 采样精度和频率高，单位时间内采集的数据量大；

（2）数据传输带宽： 要传输的传感器数据量大，必须要求网络带宽高；

（3）存储线性增加： 单个传感器的采集数据随时间线性增长；

（4）采集时间同步： 存在不同的采集设备之间的时间同步问题；

（5）系统规模大： 系统需要综合分析多个传感器的数据才能得到有意义的结果；

（6）计算处理要求高： 由于需要对数据进行信号分析，滤波等处理，计算量非常大。

针对系统特点需求，首要研究大规模传感器高频采集系统体系结构和相关实现技术，研究大规模高频率采集传感器数据情况下传感器数据传输、存储、处理分析和展示技术。

其次要研制一款传感器高频采集设备作为系统的数据源，开发一个大规模高频采集数据分析处理软件以供传感信息查看和管理，基于边缘计算构建一个大规模高频采集数据服务平台进行传感数据的上传、存储、计算和分析。

下面从网络体系结构、中心平台架构、高频采集设备硬件组成和软件框架、相关关键技术和系统应用场景几个方面进行论述。

3.1 网络体系结构

如图1所示，大规模传感器高频采集系统是由高频采集设备、分布式MEC在线计算服务器和集中式云端中心服务平台组成。高频采集设备实时高频次收集传感器监测数据，通过4G/5G移动网或固网传送至分布式MEC在线计算服务器进行处理，分布式MEC在线计算服务器再把原始数据和计算结果传输到集中式云端中心服务平台，在服务平台中数据上传集群接收传感器数据流，存储到数据存储仓库。

图1 系统体系结构图

系统采用分布式架构，充分利用MEC计算服务器的高性能运算能力，对异构数据实施高效的存储、管理、同化、分析与信息发现，以实现高可信度的实时预警决策。其中，数据存储和管理涉及异构数据整合和数据仓库设计；异构数据同化、分析和信息发现则是评估与预警服务的关键。

3.2 中心服务平台架构

如图2所示，中心服务平台由数据上传集群、离线分析集群、分布式计算集群、数据存储仓库和应用服务集群组成。

图2 平台架构图

多个高频采集设备采集的数据通过网络（以太网、移动通信网、无线网络等）上传到MEC在线计算服务器，MEC在线计算服务器形成的分布式计算集群实时对原始数据进行压缩传输、整形清洗等预处理，产生相关频谱等计算结果，原始数据和计算结果都传送到数据上传集群，由数据上传集群进行分片接收处理，存储到数据存储仓库,更新业务数据库中的数据索引。

用户、维护和管理人员访问应用服务集群，从业务数据库获取设备和数据索引信息，当查看波形、频谱等传感信息时，由应用服务集群请求分布式计算计算集群进行计算，计算结果由应用服务集群返回给客户端。

离线分析集群通过构建数据分析模型，对采集的高频次传感器原始数据和计算结果进行多角度分析、深度挖掘学习和综合分析处理，以得到有意义的结果，同时能生成分析报告，供管理者决策。当大量传感数据具备空间地理信息之后，并结合入GIS系统之后，使得结合空间地理信息的实现多角度多面向个性化的传感信息分析模式成为可能。通过数据挖掘及模式匹配、多样化输出模式及图形化控制终端系统设计，对传感数据结合空间地理信息数据进行管理和计算，能直观诠释空间、时间及各感知信息之间的相互关系。

在数据上传和客户端访问的前端，都通过负载均衡来实现对高并发访问的分流控制。

3.3 高频采集设备组成

如图3所示，设备由多个模块组成，高精度时钟模块经校准后，为设备提供高精度的时间同步功能；移动通信模块支持与4G/5G移动网络进行通信；传感器网络通信模块具备协议栈处理功能，提供与低速/高速传感器网络及设备的通信，并通过总线（SPI）与主处理器相连；WiFi模块提供到无线局域网的接入能力；信息显示模块为设备提供图形化信息显示；外部采控提供高频采集设备连接多种传感器的接口，并进行接口转换和防护处理；GPS/北斗模块提供设备位置信息；数据处理和控制模块为高频采集设备提供高性能的处理能力；电源模块为设备所有其它模块供电。

图3 硬件组成图

3.4 高频采集设备软件框架

如图4所示，软件布署在数据处理和控制模块中，数据服务完成高频采集传感器数据的汇聚与传输，实现传感网数据到无线局域网、移动通信网络、有线网络的传输。

图4 设备软件框架图

采集控制实现外部采控接口中传感器数据的高频采集。协议管理实现对传感器网络的管理，实现RS-485 Modbus RTU、Modbus TCP应用协议支持；参数配置功能实现管理中心对设备参数进行配置，通过RJ45或USB进行配置。

TCP/IP协议栈提供网络通信支持。WiFi协议栈提供无线局域网通信。4G/5G通信RIL框架提供移动网络通信框架。传感器网络通信接口实现与传感器网络的信息交互，实现传感网数据的汇聚和控制指令的分发。

操作系统提供应用软件的平台支持。

驱动提供对硬件的抽象接口。包括：SPI、LAN、UART、USB、4G模块、GPIO、AD/DA、I2C、WiFi、LCD显示、按键、传感器驱动。

3.5 大规模高频釆集数据分析处理软件

如图5所示，数据分析处理软件使用组态软件架构，把处理、显示、分析等模块分离，易于修改显示方式和增加分析处理功能。

图5 分析处理软件框架图

分析处理软件包括底部驱动程序，通讯协议等与设备配套使用的控制软件，自动识别设备配置，远程设置设备的量程、滤波及采样参数，完成信号的实时采集分析处理。

控制界面提供设备识别、参数配置、实时采集、数据预处理、格式转换及数据保存功能。分析界面提供时差域、幅值域、频率域和相关分析功能。

决策界面部分，通过长时间统计分析，多设备综合计算，对结果进行数据可视化显示，生成决策报告，并提供在线操作帮助。

4 关键技术

4.1 采集时间同步技术

时间同步是对多传感器综合分析的前提，需要在统一的时间轴上，方可通过传感器数据时间分析多传感器之间的相关性。可通过两种途径保证传感器数据的同时性（误差在较小范围），一是采集设备统一使用GPS授时，结合自身的高精度时钟持续采集；二是由分布式MEC在线计算服务器校正传感器数据时间。

4.2 传感数据空间可视化技术

基于高频次采集的大量实时数据，以及传感器的位置信息，可实时在GIS空间信息上显示相关区域的传感信息，通过提供一系列的分析和处理的手段，使用户直观的获得相关可视化分析结果。

可视化要求能对被传感器采集系统覆盖区域进行空间数据查询，同时获得对应的传感采集数据信息。系统需提供可拖动时间轴，获取相关区域的历史传感信息，或获取指定区域的历史环境的变化过程图。

要实时在GIS中显示某区域的传感器数据，其难点在于接收、解析及处理远程采集设备的地理位置信息及传感信息，在大数据吞吐量下须具备高可靠性。历史数据可视化回放的难点在于允许用户可以通过拖拉滚动条或者指定时间范围自动播放，还原指定区域环境信息历史的走向。

可视化分析则要求系统能对用户指定的服务端接收到的原始数据进行自定义的可视化分析处理，包括简单的数学运算、复杂的聚类、模式匹配等数据处理。

4.3 高频传感数据压缩技术

传感器采集的数据具有一定的冗余，通过数据融合技术可提高数据收集的效率和准确性。传统的数据融合技术优先考虑节省能量，为融合尽量多的合并数据包，降低数据传输量，通常会牺牲数据包的传输延时。

由于高频采集的传感器数据量大、实时性要求高，需研究在满足时间性和信息完整性的要求下，对大量的信息进行编码融合，以减少传输带宽并压缩存储。数据融合机制需根据信息与业务的实时性要求选择不同的数据融合度，且能根据网络各层协议的信息，调整数据融合的融合度、缓存大小、融合等待时间等参数，在节省能量和传输速度方面达成平衡。

4.4 高频传感器数据储存方式

高频传感器采集的数据量大，数据流有连续和间断的，数据量随时间的增加而线性增长，在分布式MEC在线计算服务器及数据存储仓库中，必须设计特定的存储结构存储，方便插入和查询。通过把间断分散的高频传感器数据片按时间顺序整理成连续的数据流，方便进一步的查看和处理。

4.5 实时分析处理架构研究

高频采集设备上传的传感器数据经过整形等预处理过程写入数据存储仓库的同时，必须实时计算出波形、频谱等图形推送给客户端查看。由于传感器数量多，分布式MEC在线计算集群必须在短时间内计算出大量的传感器图形，就需要研究并发度高，计算速度快的系统架构及算法。

4.6 数据融合与挖掘技术

数据挖掘在时间节点上包括以下层面：对已有数据库，通过专家知识建立数据挖掘的算法基础和相应的挖掘引擎，挖掘出相应的数据模式；在采集信号异常时，通过待分析数据和经验数据模式的数据比对，进行实时预测和警报，并更新警报于数据库。

5 应用场景

系统可应用在需要对大量传感器进行长时间持续综合分析的场合，根据不同的应用领域，进行定制开发形成特定的监测系统。

桥梁应变在线监测需要在一座桥梁部署几十个应变传感器，监测桥梁形变情况，提前预警断裂。当选用应变信号传感器作为高频采集传感器，则可把系统用于桥梁应变在线监测。

管道（水、天然气、石油等）在线监测需要监测管道中的压力、流量、流速等，综合多采集点信号实时计算反应其泄漏情况。当选用流量、压力信号传感器作为高频采集传感器，则可把系统用于管道在线监测。

电力在线监测需要监测电力线路的电压电流变化，计算电力网络的功率、相位信息，用于漏电检测和电能分配调度等。当选用电流、电压信号传感器作为高频采集传感器，则可把系统用于电力在线监测。

6 结束语

文中分析大规模传感器高频采集系统特点，提出基于边缘计算的大规模传感器高频采集系统，对其关键技术和分析软件架构进行研究，为大规模传感器高频采集系统应用提供基础，推动5G垂直行业应用发展。

**参考文献**

\[1\]  马洪源，肖子玉，卜忠贵，赵远.5G边缘计算技术及应用展望\[J\].电信科学,2019年06期  

\[2\]  张旭，佟晓鹏，张宇，王鹏.物联网智能边缘计算\[J\].人工智能,2019年01期

\[3\]  王续澎，郭忠文，刘颖健，刘石勇，王玺.传感器网络高频数据采集算法\[J\].中国海洋大学学报（自然科学版）,2019年05期

\[4\]  边缘计算在物联网中的作用\[J\].无线电通信技术,2019年01期

\[5\]  聂衡，赵慧玲，毛聪杰.5G核心网关键技术研究\[J\].移动通信，2019年01期

\[6\]  朱春荣.5G网络边缘计算技术分析及应用展望\[J\].电子测试，2020年02期

\[7\]  高翔霄，俞达，任月慧，高玲玲，徐丽.无线传感器网络数据传输延时分配算法\[J\].计算机测量与控制，2020年05期

★原文发表于《广东通信技术》2020年第9期★

DOI:10.3969/j.issn.1006-6403.2020.09.005

引用格式：蓝海盛, 张文娟. 基于边缘计算的大规模传感器高频采集系统研究[J]. 广东通信技术, 2020, 40(9): 21-25.

作者简介

蓝海盛：工程师，大学本科，移动通信国家工程研究中心，主要从事无线通信领域相关技术研究。

张文娟：工程师，硕士研究生，移动通信国家工程研究中心，主要从事无线通信领域相关技术研究。

校审：闻磊、张启迪

排版：张启迪

来源：5G工业物联

感谢阅读，欢迎扩散传播！感谢！

本文转载自边缘计算社区微信公众号原文链接点这里
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！
边缘计算社区：促进边缘计算领域知识传播，中立，客观，如果您对边缘计算、5G、物联网、云原生等领域感兴趣请关注微信公众号，也欢迎关注边缘计算社区极术专栏，定期更新。

推荐阅读

目录