“大数据”与仪器仪表

        （本文作者： 中国仪器仪表学会理事\上海大学 费敏锐）

　　一般而言，“大数据”指具有大容量、高速度、内容多样性和价值密度低等四个关键特性的数据和信息。仪器仪表是一类重要的“大数据”数据源，反映的是观察、记录、描述自然世界时所产生的大量数据，如科研数据、工程数据、多媒体数据等。相对互联网线上活动、社交网络、人口统计数据、金融交易行为、电子商务、通信行为明细等由人类社会行为产生的数据来源，仪器仪表引起的“大数据”现象具有单个数据块大、数据总量巨大、形式上非结构化等特点。实现数据信息的获取、转换、存贮、处理和揭示物质运动是仪器仪表的基本任务。为此，在这里主要探讨两类问题：针对“大数据”引起的严峻挑战，研究仪器仪表技术的本身发展问题;抓住“大数据”带来的空前机遇，研究仪器仪表技术对“大数据”的支撑问题。

　　一、“大数据”现象下的仪器仪表可研究方向

　　1、仪器仪表中“大数据”的获取与传输问题

　　“大数据”的获取通常是高速率的，这对仪器仪表检测通道的D/A转换能力提出了很高的要求，开发高采样率、高速率的数据采集装置成为一个值得研究的方向。电信号传输方面，SFP+和QSFP+接口技术正在普及，下一代25G接口技术也正在研发;光信号传输也非常值得研究。一个典型案例比如测绘地理信息，诸如海岛、山脉等地理图形，依靠传统测量手段来获取不具有可操作性，现在一般采用机载激光雷达系统，这被看做测绘行业进入数字化测量时代的象征，由于飞机航速快、测绘面积大，带来的单位时间数据量巨大。机载激光雷达系统集成GPS、IMU、激光扫描、数码相机等多种光谱成像仪器，具有很强的数字成像能力。“大数据”中测绘仪器仪表的测量技术更强调具有高频扫描、宽视角的能力。

　　2、仪器仪表中“大数据”的存储问题

　　长久、可靠的保存“大数据”，并保证其在可用性和可访问性以及在使用“大数据”过程中，存储技术如何充分利用、发挥现有的网络技术、介质访问技术，从而及时高效地为高层决策提供满足读写要求的数据访问。现有的仪表磁盘故障、阵列存储形式会带来数据管理、访问、可靠性的瓶颈。开发对象存储技术、具有冗余纠错副本功能储存技术，仪器仪表存储“大数据”的能力有待研究。传统的“磁盘+文件系统”的储存结构不适应“大数据”，采用“Flash+云”的储存结构应用于仪器仪表亟待研究。

　　3、仪器仪表中“大数据”的处理、利用问题

　　不同的仪器仪表获得的“大数据”的格式结构不一致，比如有流量、压力、密度等物理量，也有文本、音频、视频等多媒体信息。仪器仪表中的“大数据”分析处理利用问题不局限于单个单元，而是由大量嵌入设备的传感器、控制器、执行器构成的整体系统完成。数据挖掘算法、机器学习算法、预测统计等人工智能方法越来越被广泛应用到智能设备中，从而完成对“大数据”的分析处理利用。一个实例是智能电表，当用户安装有太阳能等新能源时，用户自产的太阳能转化电能与企业供应的电能之间可以存在一个平衡关系，智能电表终端通过长时间的监测单位时间采用的用户用电习惯等“大数据”，可以智能预测未来一段时间内用户用电需求，再通过电量交易平衡电网压力和削减用电成本。

　　现在一种观点认为，仪器仪表的“大数据”行为强烈依赖IT设备，建立数据采集仪器到IT设备之间紧密联系的端到端解决方案具有较大挑战性。

　　4、仪器仪表中“大数据”的安全问题

　　如何保证自身以及用户数据的安全隐私，已经成了“大数据”发展的首要议题。仪器仪表安装位置广泛，有的暴露自然环境之中，也有通过软环境受到数据入侵造成的数据毁灭，仪器仪表技术的“大数据”安全问题值得研究。需要建立自上而下的仪器主动安全防护体系，对“大数据”的入侵、毁灭具有可抗性、恢复性。

　　总的来说，“大数据”下的仪器仪表研究开发已逐渐突破传统范畴，正在向云计算、云存储、互联网技术等融合发展。工程师们需要开发拥有更高带宽和吞吐量的最先进的高速串行数据总线技术，同时对不断更新和复杂化的行业规范和标准提供简单省时又精确的测量方法;解决各种瞬态信号在时间相关的多个互联域中的联合监测和分析;在能源技术方面做到更高效、节能、稳定。

　　二、仪器仪表技术的发展对“大数据”的支撑

　　1、多物理量检测技术、RFID技术和模块化数据采集系统等为“大数据”的获取提供前提与支撑。

　　多种物理量检测获取到不同种类的数据，即为非结构化数据，现代仪表检测的灵敏度、精度、测量范围、检测对象都有了很大的提升，现代仪器仪表对物理世界的认知交互应用越来越广泛。先进的传感检测仪表是信息世界与物理世界互动的前提，也是造成海量数据的原因。如美国国家仪器公司(NI公司)开发的产品NI CompactDAQ、CompactRIO、PXI硬件，以及诸如NI LabVIEW系统设计软件和DIAdem之类的工具为“大数据”实时的在采集数据的源头处理数据。

　　2、互联网技术、总线技术、分布式仪表技术为“大数据”的信息融合提供多样性保障。

　　随着现代工业的飞速发展和生产装置规模的不断扩大，生产过程日趋复杂，对企业生产自动化仪表和各种信息的集成设备信息综合要求越来越高。据估计，到2020年，全球将有约300亿的仪器设备通过无线方式发生互联，无线传感网、物联网技术在智能电网、智能交通等中得到了越来越多的应用。一个大的复杂系统亟需综合各种数据信息，不同设备检测获取的数据的结构是不同的;通过网络，中间点智能变送器发挥的作用更加重要，它将为上层设备的“大数据”分析提供可访问性、可用性。总的来说，网络技术、总线技术、分布式测量技术为仪器仪表产生的“大数据”信息的时空融合提供渠道，以保证数据多样性。

　　3、低功耗、高处理能力的集成电路与存储技术为“大数据”的运算处理速度和海量存储提供可能。

　　低功耗、高频率的微型芯片、大规模集成电路、超大容量存储技术的迅猛发展直接促进了海量数据的有效处理与存储。近年出现的云储存技术有效突破本地单一传感器数据存储的局限。1965年，Gordon Moore提出著名的摩尔定律，即集成电路中晶体管数量大约每两年就会翻一番。近50年过去，摩尔定律依然影响着电子行业，摩尔定律的效应令技术的价格变得可以让人承受，并且新的发明帮助工程师和科学家以先进的电子仪器仪表采集、分析和储存数据，正是这些变化引起了“大数据”这一奇观现象。

　　4、嵌入“智慧”的仪器仪表为“大数据”的低密度价值信息的分析、综合、提取、决策提供支持。

　　从“大数据”中汲取价值的过程是一个从原始数据获取到有价值信息提炼的阶段过程。统计分析、数据挖掘、机器学习等智能算法越来越被嵌入到智能仪器仪表中，使得对“大数据”的价值利用更为充分，借助现代化微型智能处理器、执行单元仪表等，可以建立有效的“大数据”分析模型，并在大量数据集合上执行多种模式的智能交互。