回顾：物联网时间序列数据的图像转换及各种应用。

物联网 13/12/2023

三个要点
✔️ 对这些在物联网领域使用图像转换/编码技术的研究进行了回顾
✔️ 介绍了各种时间序列到图像转换技术
✔️ 介绍了各种物联网应用中的图像转换技术

Image Transformation for IoT Time-Series Data: A Review
written by Duygu Altunkaya, Feyza Yildirim Okay, Suat Ozdemir
[Submitted on 21 Nov 2023]
Comments: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Networking and Internet Architecture (cs.NI)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

在物联网（IoT）时代，几乎所有的智能设备（如智能手机、嵌入式系统和无线传感器）都通过本地网络和互联网连接在一起，数十亿台智能设备相互通信，产生了海量的时间序列数据。由于物联网中时间序列数据的高维度和高频率，时间序列的分类和回归一直是物联网中一项具有挑战性的任务。近年来，在许多智能物联网应用中，深度学习算法在时间序列数据分类方面表现出色。然而，探索隐藏在时间序列中的动态模式和趋势却充满挑战。最新研究表明，将物联网数据转化为图像可以提高学习模型的性能。本文综述了这些在物联网领域使用图像转换/编码技术的研究。本文根据编码技术、数据类型和应用领域对这些研究进行了审查。最后，还强调了图像转换的挑战和未来潜力。

介绍

本研究对图像转换技术在物联网（IoT）领域的应用进行了全面调查。物联网是由配备传感器、软件和先进技术的智能设备组成的网络，这些设备通过互联网与其他设备和系统连接并共享数据。它是指物联网应用范围广泛，包括智能家居、智能城市、智能农业、智能健康和智能零售。

物联网的广泛应用产生了海量的时间序列数据，从而导致在不同的物联网领域广泛开展时间序列分析。传统的时间序列分析方法通过人工特征提取和专业知识达到了一定的性能水平，但由于物联网时间序列数据的独特性，这些方法并不总是合适的。物联网设备的时间序列数据分析不同于非物联网数据分析，其复杂性带来了挑战，原因如下。复杂性带来了挑战，原因如下。许多物联网应用需要实时或接近实时的数据处理，这在技术上具有挑战性，并且需要特殊的基础设施。

为了应对这些挑战，人们提出了将时间序列数据转换为可视化表示的图像转换/编码技术，认为这是一种很有前途的技术。通过将数据转换成图像并应用 jpeg 或 png 等图像压缩技术，可以保留必要的信息，同时减小数据大小。以压缩图像表示的时间序列数据可以更有效地存储或传输。近年来，由于将时间序列数据转换为图像格式在异常检测、故障诊断和活动识别等物联网应用中取得了巨大成功，研究人员将重点放在了将时间序列数据转换为图像格式上。

本调查报告从不同角度全面概述了图像转换技术。首先，在转换技术的基础上对现有研究进行审查，然后根据数据类型（单变量或多变量）和应用领域进行分类。迄今为止，似乎还没有关于图像转换技术在物联网领域应用的调查报告。为了填补这一空白，本文对物联网领域当前的研究状况进行了详细分析。

激励

在这项研究中，提高模型准确度的基本思路是考虑改用另一种准确度更高的模型。许多研究人员采用混合模型或预训练模型等复合模型。然而，考虑是否有可能在不改变模型本身的情况下提高模型的准确性也很重要。一些研究表明，转换时间序列数据可能是比改变模型本身更有效的提高模型准确性的方法。

将物联网数据表示为图像有几个优点：

i) 更容易直观地显示和分析复杂的模式和趋势。

ii) 提供时间数据的可视化表示，允许直观的解释和模式识别。

iii) 对高维物联网时间序列数据进行转换是在保持时间依赖性的同时降低维度的有效方法，这可能会带来更高效的分析和更好的见解。

iv) 深度学习技术可用于有效分析物联网时间序列数据，在模式分类和医疗保健监测等物联网应用中进行基于图像的分析。

这些方面构成了本研究的动机基础。这种方法可以在不改变模型本身的情况下，通过改变时间序列数据的表示方法来提高模型的准确性。

导言

物联网中的时间序列分析

本研究侧重于时间序列数据，即在一段时间内定期收集的一系列数据点。时间序列数据表示为 X = {(_t1, _x1), (_t2, _x2), ..., (_tn, _xn)}，其中 ^xi∈Rm表示由 n 个时间序列数据点和 m 个维度组成的向量。时间序列数据可分为单变量和多变量。

单变量时间序列（UTS）：如果 m 为 1，则 X 为单变量。换句话说，UTS 包含一个随时间观测的单一变量。

多变量时间序列（MTS）：如果 m 大于 1，X 就是多变量。换句话说，多变量时间序列有多个随时间变化的变量。

例如，包含城市日平均气温的时间序列数据用 UTS 表示，而包括温度、湿度和降水量在内的日天气状况时间序列数据则用 MTS 表示。现实世界中的许多物联网系统都有各种各样的物联网传感器，但出于几个原因，它们更侧重于UTS。首先，在 MTS 中很难正确处理变量之间的关系。此外，这些变量的高维度使得分析 MTS 数据具有挑战性。因此，UTS 比 MTS 更简单，更容易实施。然而，与UTS相比，MTS更为复杂，需要的数据也更多，但由于它处理的是不同变量之间的关系，因此可能更为准确。

物联网时间序列数据产生于远程医疗保健、可穿戴设备、能源管理、智能楼宇和交通等多个领域，被广泛应用于异常检测、监控系统、信号分类、故障诊断和维护预测等各种物联网问题中（图 1）。了解和利用这些特性对于物联网应用中的有效分析、建模和决策至关重要。例如，高维度是物联网时间序列分析的一个关键问题，需要具备可扩展性。此外，由于数据是连续生成的，因此需要采用实时或流式数据处理方法来处理数据流，以便进行即时分析和及时决策。此外，噪声和缺失值会降低数据质量，因此需要使用数据清洗和预处理技术来确保数据完整性。研究人员提出了各种任务来克服这些挑战。本文和其他研究一样，不仅关注方法，还关注时间序列数据类型和方法的改变。

图像变换

时间序列图像转换将时间序列数据转换为可视化表示（如图像），是物联网背景下的一个重要过程。这项技术通过将大量数据压缩为紧凑的可视化格式，降低了物联网数据的维度，并能更成功地从物联网时间序列数据中提取重要特征和模式。此外，它还能与卷积神经网络（CNN）等深度学习算法无缝集成。图 2 展示了将物联网时间序列数据转换为图像的过程。

图 2：物联网时间序列数据图像转换总体框架

文献中介绍了各种图像转换技术。这些方法一般直接应用于 UTS，但通常不能直接应用于 MTS。为了解决这个问题，文献中讨论了几种融合方法。图像或特征融合是一种整合图像或特征所需信息的拟议过程；在将 MTS 数据转换为二维（2D）图像时，融合方法可用于整合来自不同变量或数据源的信息，以创建单一的图像表示。

文献中流行的一种融合技术是基于通道的融合，即通过将每个变量分配到不同的颜色通道（如红、绿、蓝）来创建 RGB 或多光谱通道图像。一些研究还使用了张量图像融合技术，将 MTS 数据视为张量，使用张量分解技术（如标准多重线性分解）从张量数据中提取模式和相互作用。最后，可以使用特征级（早期融合）和决策级（后期融合）对 MTS 进行转换。不同的变量在输入阶段进行整合，并在特征层使用任何方法进行处理。另一方面，每个变量被分别转换成图像，然后在决策层的后期阶段将这些图像组合在一起。许多研究人员还使用混合融合方法，即在决策层和特征层都进行融合。

时间序列到图像的转换技术

将一维（1D）时间序列转换为二维图像有多种方法。下面介绍一些文献中最常用的方法。表 I 还显示了使用这些方法进行的研究。

表 1：物联网图像转换技术研究。

格拉明角斗场（GAF）

时间序列数据 $X = {x_1, x_2, ..., x_N}$ 可以通过三个步骤编码成图像。这是一种将时间序列数据转换为可视化表示的有效方法，尤其适用于模式识别和时间序列数据分析。

缩放：首先，将时间序列 X 缩放至区间 [0,1]。具体做法如下式 (1)

其中，$\tilde{X}_i$ 是缩放时间序列的第 i 个元素。

极坐标系转换：将一维时间序列的直角坐标系转换为极坐标系。这样就得到了时间序列的新表示。通过计算角度的余弦（φ）和半径（r），可以用下式（2）在极坐标中表示经过重新标定的时间序列：

其中，_ti 是时间戳，N 是常数，用于将极坐标系的范围标准化。

GASF 和 GADF 的计算：基于三角函数的和/差有两种形式：GASF（格兰角和场）和 GADF（格兰角差场）、GADF 的定义见公式 (5) 和 (6)。

其中 I 是单位向量 [1,,。,1].

通过上述步骤，时间序列数据被转换成图像，而图像更易于使用深度学习和其他高级分析技术进行处理。

马尔可夫转换场

马尔可夫转换场（MTF）是一种功能强大的工具，它能在时间序列数据中保留时域信息，并表示连续的马尔可夫转换概率。通过利用马尔可夫矩阵的量子箱，MTF 提供了一种将时间序列数据转换为图像的方法。

编码过程从时间序列 X 开始，并确定其 Q 量子仓。然后，每个 xi 被分配到相应的 bin qj（j ∈ [1，Q]）。然后得到邻接矩阵 W = QxQ。其中每个元素 wi,j 代表 qj 中的点被 qi 中的点跟随的频率。最后，构建马尔科夫转换矩阵，如下式（7）所示。

这一过程将时间序列数据转换为图像格式，从而可以更直观、更形象地分析数据特征和模式。这种方法降低了时间序列数据的维度，同时保持了时间依赖性，使数据能以适合深度学习和其他高级分析方法的格式表示。

复原图 (RP)。

递归图（RP）是一种广泛使用的工具，用于可视化和分析动态框架下产生的重复时间序列行为。其元素的计算公式如下 (8)：

其中，ε 是阈值，Θ 是用于距离矩阵二值化的 Heaviside 函数，负参数为零，正参数为一 RP 通过计算子序列之间的距离矩阵，揭示时间序列中的局部相关信息和隐藏模式RP 通过计算子序列之间的距离矩阵来揭示时间序列中的局部相关信息和隐藏模式。这种方法有助于直观地捕捉时间序列数据中重复出现的模式和动态，在分析复杂系统和非线性动态时尤其有用。 RP 通过揭示时间序列数据的结构特征和模式，有助于加深对数据的理解，为时间序列分析和预测提供了重要见解。它为建模提供了重要见解。

短时傅立叶变换 (STFT)

短时傅里叶变换（STFT）可视为原始信号的频域表示：STFT 使用窗口函数提取部分时域信号，并对其进行傅里叶变换，以识别各种信号特征。给定信号 y(x) 的 STFT 按下式 (9) 计算：

其中，ω(t) 是窗口函数。此外，频谱图是通过对 STFT 的振幅进行平方运算生成的：

STFT 是一种功能强大的工具，用于分析频率成分，同时考虑信号的时间变化。它可以捕捉信号的时间变化，尤其适用于分析非稳态或时变信号。频谱图用于直观地显示这些频率成分的时间变化，有助于了解信号的动态变化。这种方法被广泛应用于语音分析、音乐处理和生物医学信号处理等多个领域。

连续小波变换 (CWT)

连续小波变换（CWT）提供了一种不稳定的窗口大小，可根据频率进行调整，但牺牲了时间分辨率；STFT 可以很好地表示信号的时空特征，但由于其频域分辨率固定，在某些情况下并不总是理想的选择。CWT 可更好地表示信号的时域特征。另一方面，CWT 是一种线性作用于时域信号 y(t) 的运算，其计算公式为方程 (11)：

其中，φ($ \frac{t-b}{a} $) $\frac{t-b}{a}$ $) 是基础小波函数 �( $φ (t)$ 的扩展版本，并应用了缩放和移位。 $0a>0$ $是$ 缩放变量，用于调整函数的扩散；b 是需要分析信号的时间，即时间偏移参数。

CWT 对信号的可视化表示称为扫描图；通过在不同尺度上分析信号，CWT 可以更灵活地显示信号的时间和频率特性。这使得识别信号中的局部特征和异常变得更加容易，尤其适用于分析非稳态或复杂信号。CWT 广泛应用于语音信号处理、地震数据分析和心电图分析等多个领域。

希尔伯特面包车改装（HHT）

希尔伯特-黄变换（HHT）是一种分析非平稳和非线性信号的技术。虽然许多技术在分析非稳态和非线性系统时可能会失败，但 HHT 却能减少数据时空能量表示方面的挑战。 HHT 包括两个主要阶段：经验模式分解（EMD）和希尔伯特变换（HT）。

转换过程包括几个步骤。首先，使用 EMD 从信号中获取本征模态函数 (IMF)。然后，对每个 IMF 分量进行希尔伯特变换。最后，计算出瞬时频率和振幅。

通过将信号分解为 IMF 并对每个 IMF 进行希尔伯特变换，HHT 可以对信号的时间和频率特性进行更详细的分析。这样就可以捕捉到非稳态或非线性信号的动态和波动，从而更深入地了解信号的结构和模式。

其他转换方法

除上述物联网时间序列数据转换方法外，文献中还提供了常用于解决不同类型问题的替代技术。这些方法在物联网时间序列数据转换中发挥着重要作用。特别值得注意的方法包括数据归一化与矩阵变换相结合、直接绘制方法、高斯混合回归（GMR）、灰度编码（GS）、灰度图像表示法、RGB 彩色图像变换和小波方差图像（WVI）方法。这些技术在转换和改进物联网时间序列数据分析方面非常有效，因此在文献中很受欢迎。

加西亚等人对 GS 进行了修改，根据 GAF 编码选择原始公式的下限和上限，而不是最小和最大比例。
Wang 等人使用了直接绘制法，即使用 Python Matplotlib 软件包中的 plt 函数将信号直接转换为二维光谱图。直接绘制法的精度高于 STFT 后的 GAF 和 MTF。
GS 的主要理念是将时间序列的原始信号转换成图像。时间序列原始信号依次完成图像的像素。
Wen 等人利用 CNN 重构了一个 GS，用于制造系统的故障诊断。
二维图像表征采用了数据归一化和矩阵变换相结合的转换方法：首先将具有 n 个特征的一维时间序列数据按 [0,1] 归一化，然后将特征以 mxm 矩阵格式排列。最后，将矩阵调整为 28x28 像素，并存储为灰度或 RGB 彩色图像。
电压-电流（VI）轨迹可通过网格化 VI 轨迹转换为像素化 VI 图像（nxn 矩阵）。
Qu 等人根据加权电压-电流（WVI）轨迹图像信号的相应特征生成了二维负载特征。

表 II. 按数据类型分列的图像转换应用概述

物联网应用中的图像转换

物联网包括经常使用时间序列数据的各种领域。时间序列数据是一种数据类型，包含在一段时间内定期收集的一系列数据点。表 II 汇总了现有的研究，分为九个物联网领域。经常使用时间序列数据的一些物联网领域包括

表 III：物联网应用领域图像转换技术研究概述

安全和隐私

物联网安全和隐私领域的重点是应对与确保物联网系统、设备和数据的保密性、完整性、可用性和隐私性有关的挑战和风险。物联网领域的安全包括未经授权的访问、数据泄漏以及阻止可能损害物联网设备和系统的功能、完整性和保密性的恶意活动。物联网领域的隐私是指保护个人数据，以及个人对物联网系统如何收集、使用和共享数据的控制。在物联网领域，隐私是指保护个人数据以及个人对物联网系统如何收集、使用和共享数据的控制。

物联网时间序列数据可为了解物联网系统内的行为、模式和异常情况提供宝贵信息，因此在安全和隐私领域发挥着重要作用。为保护时间序列数据中包含的敏感信息，应适当应用匿名化、加密和访问控制。在物联网安全和隐私方面，时间序列数据可用于各种目的，如入侵检测、未授权访问检测、异常检测和安全分析预测。可用于

Baldini 等人提出了一种基于射频（RF）发射的物联网无线设备认证方法。所提出的方法结合了 CNN 和 RP（RP-CNN），并在射频发射数据集上进行了测试，该数据集是从 11 个物联网设备上收集的实验数据。
Lyu 等人提出了一种基于 GAF 和 CNN 的入侵模式识别框架，该框架对六种光纤入侵事件的快速响应时间为 0.58 秒，识别准确率高达 97.57%。
Zhu 等人开发了一种监测系统，用于检测物联网应用中的异常流量和漏洞攻击。在该系统中，时间序列数据被转换成 GAF 图，CNN 和 LSTM 模型被用于流量监控。
Bertalanic 等人提出了一种基于图像转换和深度学习的新型资源感知方法，用于无线电链路层的异常检测。使用 RP 和 GAF 将时间序列数据转换为图像，实验表明 RP 的性能比 GAF 方法高出 14%。

能源管理

物联网可实现对能源消耗的监测和控制、智能电网管理和可再生能源的整合，有助于优化能源分配、减少浪费和提高可持续性。以下是利用物联网技术开展能源相关研究的实例。

Fahim 等人：提出了一种 "从时间序列到图像（TSI）"模型，用于检测住宅建筑的异常能耗。该研究侧重于分析单变量时间序列能源数据，以进行短期分析。提出的模型利用单类支持向量机（OCSVM）作为分类器，并利用 MTF 作为转换器，将单变量时间序列数据转换为图像。
Estebsari 和 Rajabi：提出了一种基于 CNN 和图像编码方法的混合模型，用于单个房屋的负载；将三种不同的图像编码方法（RP、GAF 和 MTF）应用于历史负载时间序列数据，其中 RP 是三种编码方法中性能最好的一种。在三种编码方法中，RP 的性能最好。
Alsalemi 等人：基于 EfficientNet-B0 的新型 GAF 分类器，用于边缘互联网能源应用分类。该轻量级二维能耗分类器设计用于在 ODROID-XU4 平台上运行。
Copiaco 等人：提出了一种用于检测建筑物能耗异常的二维预训练 CNN 模型。该模型使用能源时间序列信号的二维版本作为 AlexNet 和 GoogleNet 等预训练模型的输入，作为线性支持向量机 (SVM) 分类器的特征。
Chen和Wang：在非侵入式负载监控（NILM）领域提出了一种用于负载感知任务的边缘计算架构，减少了数据传输和网络带宽需求。他们还开发了一种基于 GAF 的颜色编码方法，用于为电器建立负载特征。
Qu 等人：基于 WVI、MTF 和 I-GAF 构建了三种二维负载特征，并设计了一种新型残差卷积神经网络用于 NILM 中的器具识别。结果表明，EN-SE-RECNN

这些研究通过将能源时间序列数据转换成图像，并利用深度学习和其他先进的分析方法，为能源消耗监测、异常检测和负载识别提供了有用的见解。

医疗保健

在利用物联网技术的医疗保健应用中，时间序列数据有助于监测病人的生命体征、分析健康趋势、预测疾病爆发和优化医疗保健资源。以下是利用物联网技术开展医疗保健相关研究的实例

Zhou和Kan：为基于健康物联网（IoHT）的心脏监测和心脏健康智能管理开发了基于张量的心电图异常检测框架。使用 GADF 将多通道心电信号转换为二维图像。
Sreenivas 等人：提出了一种 CNN 模型，用于对双通道心电图信号中的心律失常进行分类；使用 GAF 和 MTF 将心电图时间序列信号转换为图像，结果表明 GAF 模型的准确率高于 MTF。
Anjana 等人：提出了一种基于图像编码方法的 CNN 模型，利用脑电信号对人类情绪进行分类。他们使用频谱图、频谱图和 HHT 将脑电信号数据转换成图像，结果表明频谱图的图像编码提供了最佳的分类准确性。
Paula 等人：提出了一种基于二维核的 CNN 架构，用于对稳定状态视觉诱发电位（SSVEP）信号进行分类；使用 GADF、GASF、MTF 和 RP 将脑电图数据编码成图像，其中 GADF 和 RP 一直表现出很高的性能。
John 等人：开发了一种基于无线传感的心脏监测系统，用于准确诊断心脏疾病。该系统使用 MQTT 进行远距离传输，使用 HTT 进行数据预处理和特征提取。
Sharma 等人：介绍了一种基于本体的病人监测系统，用于早期远程检测 COVID-19。所提议的系统依赖于一个具有警报功能的生物可穿戴传感器系统，该系统使用心电图、血压计、温度计和加速度计等一维生物医学信号。
Chen 等人：在非侵入式负载监控（NILM）领域提出了一种用于负载感知任务的边缘计算架构。

这些研究将图像转换技术与深度学习相结合，对心电图、脑电图和其他医学相关的时间序列数据进行分析，为疾病诊断、异常检测和情绪识别等领域提供了有用的见解。

工业

工业物联网（IIoT）涉及连接工业设备、机器和系统，以实现对制造、能源运输和其他工业部门的数据监控、分析和优化。在工业环境中，时间序列数据可帮助监控设备性能、预测故障、优化维护计划并提高整体运营效率。在 IIoT 中，不同的图像编码方法通常用于提供高效、智能的故障诊断在物联网中，不同的图像编码方法通常用于提供高效、智能的故障诊断。

Wang 等人：提出了单通道和多通道轴承信号故障诊断框架。光谱图信息融合与 CNN 相结合，实现了快速故障诊断。
Zhang 等人：提出了一种结合 GAF、极端学习机 (ELM) 和 CNN 的新型故障诊断方法。他们探索了不同的编码方法，并证明了所选编码技术对模式识别的有效性。
Santo 等人：开发了一种结合时间序列编码技术和 CNN 的模型，用于预测性维护；评估了四种主要编码技术，包括 RP、GAF、MTF 和小波变换。
Ferraro 等人：开发了一种高效的预测性维护方法，该方法使用 GAF 将时间序列数据转换为图像，并利用深度学习策略来预测硬盘驱动器（HDD）的健康状况。
Jiang 等人：提出了一种结合 MTF、CNN 和 LSTM 的 MTF-CLSTM 方法，用于预测线材放电加工（WEDM）中的产品质量；MTF 被用于将动态 WEDM 制造条件转换为图像。
Garcia 等人：探索了六种编码方法（GAF、MTF、RP、GS、spectrogram 和 scalogram）及其修改方法，以提高将时间序列信号转换为图像时对大型数据集变化的稳健性。
Bai 等人：利用 GAF 和 MTF 将一维电参数转换为二维图像，并利用深度卷积生成对抗网络（DCGAN）处理油井电参数数据样本不足的故障。提出了一种诊断方法，即时间序列转换-DCGAN（TSC-DCGAN）。

这些研究利用 GAF、MTF 和 STFT 等图像编码技术，为物联网环境中的故障诊断、质量预测和维护管理等领域提供了有用的见解。这些技术使复杂的工业时间序列数据更易于管理，并实现了更高效的分析和决策。

环境监测

物联网设备用于监测和管理空气质量、水质、污染程度和自然资源保护等环境状况。这些解决方案有助于保护环境和可持续发展实践。

Abidi 等人：提出了一种基于二维编码多变量卫星图像时间序列（SITS）的土地利用/土地覆盖（LULC）绘图分类框架。在这项研究中，通过 GADF、GASF、MTF 和 RP 将多元 SITS 数据转换为二维图像。结果表明，RP 技术的性能优于所有编码技术。此外，二维编码技术的组合比单独使用编码方法取得了更好的性能。

这项研究利用物联网技术收集和分析环境数据，为土地利用和土地覆被制图提供了一种新方法。图像编码技术可从时间序列数据中提取更丰富的信息，实现更准确的分类和分析，从而加强环境监测和可持续发展工作。这种方法有可能在促进环境保护和可持续发展目标方面发挥重要作用。

智能建筑

智能楼宇可提高居住舒适度，降低能耗，改善安全和安保，优化楼宇运行和维护。智能楼宇中的时间序列数据用于监测和控制不同的楼宇系统，如暖通空调（HVAC）、照明和占用率。

Sayed 等人：提出了一种利用温度、湿度和光传感器等环境传感器数据进行占用检测的方法。在这项研究中，使用图像转换方法将多变量时间序列数据转换为灰度和 RGB 图像，以更好地编码和捕捉相关特征。与 GAF 等常用方法不同，该方法包括数据归一化和矩阵变换。结果表明，与彩色图像相比，灰度图像在准确性和训练时间之间取得了适当的平衡。

这项研究展示了传感器数据在智能建筑环境中的应用，并说明了如何利用图像转换技术来加强时间序列数据的分析和特征提取，特别是在占用检测等特定应用中。这种方法有助于更有效地监测和控制楼宇系统，并在实现降低能耗和提高居住舒适度等目标方面发挥重要作用。

运输和物流

物联网应用有可能改变整个行业，包括运输和物流行业的车队管理、车辆跟踪、路线优化、货物监控和驾驶员安全。这将实现智能决策、降低成本并改善客户体验。

Huang 等人开发了一种用于重建交通传感器数据中缺失值的新方法--交通传感器数据输入 GAN（TSDIGAN）。在这项研究中，使用 GASF（格兰角求和场）处理时间序列交通数据，并将其转换为图像格式，使用 CNN 补充缺失值。

这些发展使物联网在运输和物流行业的应用取得了重大进展。车队管理可以通过分析车辆的时间序列数据来预测维护需求、优化燃料消耗和改进路线规划。车辆跟踪和路线优化可减少行程时间和燃料消耗，从而降低运营成本和排放。货物监控可确保货物在运输途中的安全性和完整性，而驾驶员安全应用则可检测风险行为并发出警告，防止事故发生。

因此，在运输和物流中使用物联网可在运营效率、安全性和客户满意度方面带来巨大效益，而先进数据分析和物联网技术的进步，如 Huang 等人的研究，正在为实现更加互联、高效和可持续的运输业铺平道路。

可穿戴设备

可穿戴设备的重点是将技术集成到个人可穿戴的便携式设备中。这些设备配备传感器、连接和计算能力，可收集数据、与环境互动并提供个性化体验。可穿戴设备集成了一系列传感器，用于收集有关用户及其环境的数据，包括加速度计、心率监测器、全球定位系统和温度传感器。它们还通过蓝牙和 Wi-Fi 等无线技术与其他设备和网络连接。

随着物联网和可穿戴设备的发展，基于传感器的人类行为识别 (HAR) 因其便利性和隐私性而变得越来越重要。随着物联网和可穿戴设备的发展，基于传感器的人类行为识别（HAR

Xu 等人：针对 HAR 提出了基于 GAF 和深度 CNN 的两种改进方法。研究结果表明，所开发的模型利用了 GAF 算法的特性，并将其与 CNN 的结构和优势、残差学习和扩展卷积相结合，有效地提取了多尺度特征，提高了动作识别的准确性。

因此，可穿戴设备和物联网技术的进步使利用传感器数据识别人类行为成为一个重要领域，为利用可穿戴设备管理健康、改善健身和提高生活质量提供了新的途径。

其他

物联网领域的多项研究都使用了来自不同物联网学科的数据。这些研究测试了所提方法对不同学科数据集的影响。

Yang等人：将著名的MTS数据集Wafer和ECG用于一维信号分类；通过应用GASF、GADF和MTF将MTS数据转换为二维图像，并将这些图像串联起来作为ConvNet分类模型的RGB输入通道。结论是，编码方法的选择对预测结果没有明显影响。
Jiang 等人：评估了 Adaptive Dila-DenseNet (ADDN) 模型在 24 个基准物联网数据集上对UTS 和 MTS 数据进行分类的情况 UTS 和 MTS 数据利用 GAF 和 MTF 方法转换为 GM 图像，并输入 ADDN 模型。提供给 ADDN 模型。
Quan 等人：研究了不同特征构建和融合方法对时间序列分类结果的影响。在这项研究中，以 GAF、MTF 和 RP 编码的三幅图像被叠加为 GMR 图像，作为三通道数据输入。此外，还使用两种不同的方法融合了一维多尺度特征和二维图像特征，包括挤压-切除（SE）和自注意（SA）特征融合架构。
Hasan 等人：介绍了一种基于数字孪生的传感器故障检测方法。他们使用生成对抗网络（GAN）方法创建传感器的数字表示，并使用 GAF 对从时间序列中获取的图像进行 GAN 训练。

这些研究利用 GAF、MTF 和 RP 等图像编码技术将时间序列数据转换为图像，并将其应用于深度学习模型中的分类、预测和故障检测等任务。这样就能在物联网的不同领域进行有效的数据分析和决策。

研究问题和未来方向

为促进物联网数据分析，将时间序列数据转换为图像的做法备受关注，但在这一转换过程中存在一些挑战。下文介绍了这些关键挑战和潜在的解决方案，供研究人员参考。

噪声和缺失值：由于传感器故障或网络问题，物联网时间序列数据经常会出现噪声和缺失值。这会对图像质量产生负面影响。缺失值补全方法（如图像内绘模型和基于 GAN 的模型）可用于处理缺失间隙。
对大型数据进行编码：对大型物联网时间序列数据进行编码可能会耗费大量计算成本和内存。需要确定最佳图像尺寸，以便在不占用大量计算资源的情况下捕捉有意义的模式。
信息丢失：将时间序列数据转换为图像的过程中，由于将时间信息压缩为二维表示形式，可能会造成信息丢失。如何在降低维度和信息损失之间取得平衡是这一领域的关键挑战。
处理多变量时间序列数据：物联网时间序列数据可能涉及多个变量和传感器，从而形成多变量时间序列。需要有效的融合技术将多变量时间序列数据转换为适当的格式。需要开发有效的融合技术，将 MTS 数据转换为适当的格式。
实时或准实时图像表示：动态物联网环境中的实时或准实时图像表示具有挑战性。如果图像转换过程的时间超过间隔时间，系统最终可能会失败。边缘设备提供了卓越的计算资源，可加快实时决策。

为应对这些挑战，需要开发更强大的转换技术，结合边缘和云架构，引入有效的融合技术，并增加硬件资源。这将使物联网应用中的时间序列数据分析和决策更加高效和有效。

结论

近年来，将时间序列数据转换为图像的方法已得到广泛应用，但这些技术在物联网领域的应用仍处于早期阶段，预计在不久的将来将在大多数物联网领域得到普及。本研究全面回顾了智能建筑、工业环境、能源管理、医疗保健和安防等多个物联网领域所使用的图像转换技术。现有研究根据编码技术、物联网应用领域和数据类型进行了分类。

在文献中，各种转换技术已被应用于单变量和多变量时间序列物联网数据。这些转换技术通常与多变量时间序列物联网数据的融合技术相结合。在这些技术中，GAF 和 MTF 是最常用的图像变换技术，特别是在能源管理、医疗保健和工业应用等领域，可用于异常检测、故障诊断和时间序列分类。

此外，本文还讨论了相关挑战、开放性问题和未来研究方向。随着这些技术应用的增加，希望能为物联网数据的分析和处理带来新的可能性，从而实现更有效、更高效的应用。

与本文相关的类别

友安昌幸 (Masayuki Tomoyasu): JDLA G检定2020#2,E资格2021#1 数据科学家协会 DS检定日本创新融合学会 DX检定专家联合公司Amico咨询 CEO