レビュー：IoT時系列データの画像変換と各種アプリケーション

IoT 2023年12月13日

3つの要点
✔️ IoT領域で画像変換/符号化技術を使用したこれらの研究のレビューを紹介しています
✔️ 時系列から画像への各種の変換技術を紹介しています
✔️ 各種のIoTアプリケーションにおける画像変換を紹介しています

Image Transformation for IoT Time-Series Data: A Review
written by Duygu Altunkaya, Feyza Yildirim Okay, Suat Ozdemir
[Submitted on 21 Nov 2023]
Comments: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Networking and Internet Architecture (cs.NI)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

概要

スマートフォン、内蔵システム、ワイヤレスセンサーなど、ほとんどすべてのスマートデバイスがローカルネットワークやインターネットを介して接続するモノのインターネット（IoT）の時代では、何十億ものスマートデバイスが互いに通信し、膨大な量の時系列データを生成します。IoTの時系列データは高次元かつ高頻度であるため、時系列の分類や回帰はIoTにおける挑戦的な課題でした。近年、多くのスマートでインテリジェントなIoTアプリケーションにおける時系列データの分類において、ディープラーニングアルゴリズムが優れた性能を発揮しています。しかし、時系列に隠れた動的なパターンや傾向を探ることは困難です。最近の研究では、IoTデータを画像に変換することで、学習モデルの性能が向上することが示されています。本稿では、IoT領域で画像変換/符号化技術を使用したこれらの研究のレビューを紹介しています。エンコード技術、データの種類、応用分野に従って研究を検証します。最後に、画像変換の課題と将来性を強調します。

はじめに

この研究は、もののインターネット（IoT）の分野における画像変換技術の利用に関する包括的な調査を行っています。IoTは、センサーやソフトウェア、先進技術を備えたスマートデバイスがインターネットを介して他のデバイスやシステムと接続し、データを共有するネットワークを指します。スマートホーム、スマートシティ、スマート農業、スマートヘルス、スマートリテールなど、様々なIoTアプリケーションが存在します。

IoTの普及により、膨大な時系列データが生成されており、これにより、多様なIoT領域にわたる時系列分析が広く行われています。従来の時系列分析方法は、手作業での特徴抽出と専門知識により一定のパフォーマンスを達成していますが、IoT時系列データの独特の特徴により、これらの方法が常に適切であるとは限りません。IoTデバイスの時系列データ分析は、非IoTデータの分析とは異なり、その複雑さによって課題を提示します。多くのIoTアプリケーションでは、リアルタイムまたはほぼリアルタイムのデータ処理が必要で、これは技術的に難しく特別なインフラを要する場合があります。

これらの課題に対処するため、時系列データを視覚的表現に変換する画像変換/エンコーディング技術が有望な技術として提案されています。データを画像に変換し、jpegやpngのような画像圧縮技術を適用することで、データサイズを削減しながら必要な情報を保持することができます。圧縮された画像表現の時系列データは、より効率的に保存または送信することができます。近年、異常検出、故障診断、活動認識などのIoTアプリケーションにおける大きな成功を受けて、研究者は時系列データを画像形式に変換することに焦点を当ててきました。

この調査では、様々な視点から画像変換技術に関する包括的な概観を行います。まず、既存の研究を変換技術に基づいて精査し、その後、データタイプ（単変量または多変量）およびアプリケーションドメインによって分類します。これまでのところ、IoT領域における画像変換技術の利用に関する調査論文は存在しないと思われます。このギャップを埋めるために、この論文ではIoTドメイン内の現在の研究状況について詳細な分析を提示しています。

モチベーション

この研究では、モデルの精度を向上させるための基本的なアイデアとして、より高い精度を持つ別のモデルに変更することを考慮しています。多くの研究者は、ハイブリッドモデルや事前訓練されたモデルなどの複合モデルの適用を行っています。しかし、モデル自体を変更せずにモデルの精度を向上させることが可能かどうかを検討することも重要です。一部の研究では、モデル自体を変更するよりも、時系列データの変換の方がモデルの精度を向上させるための効果的なアプローチである可能性が示唆されています。

IoTデータを画像として表現することにはいくつかの利点があります：

i) 複雑なパターンや傾向を視覚化して分析しやすくなります。

ii) 時間的データの視覚表現を提供し、直感的な解釈やパターン認識を可能にします。

iii) 高次元のIoT時系列データを変換することは、時間的依存関係を維持しながら次元を減少させる効果的な方法であり、より効率的な分析とより良い洞察につながる可能性があります。

iv) ディープラーニング技術は、パターン分類やヘルスケア監視などのIoTアプリケーションにおいて、画像ベースの分析でIoT時系列データを効果的に分析するために使用することができます。

これらの側面は、この研究の動機のベースになっています。このアプローチにより、モデル自体を変更することなく、時系列データの表現を変えることでモデルの精度を向上させることができる可能性があります。

前置き

IoTにおける時系列分析

この研究は、時間経過に伴い定期的に収集されたデータポイントの系列である時系列データに焦点を当てています。時系列データはX = {(t₁, x₁), (t₂, x₂), ..., (t_n, x_n)}のように表され、x_i ∈ R^mはn個の時系列データポイントとm次元のベクトルを意味します。時系列データは、単変量または多変量に分類されます。

単変量時系列（UTS）：mが1である場合、Xは単変量です。つまり、UTSは時間経過に伴って観測される単一の変数を含みます。

多変量時系列（MTS）：mが1より大きい場合、Xは多変量です。言い換えれば、MTSは時間経過に伴って観測される複数の変数を持ちます。

例えば、都市の日平均気温を含む時系列データはUTSとして表され、気温、湿度、降水量を含む日々の天候条件の時系列データはMTSとして表されます。多くの実世界のIoTシステムは多様なIoTセンサーを持っていますが、いくつかの理由からUTSにより重点を置いています。まず、MTSでは変数間の関係を正しく把握することが難しいです。さらに、これらの変数が高次元性を持つため、MTSデータの分析は挑戦的です。したがって、UTSはMTSよりも実装がシンプルで容易です。しかし、MTSはUTSよりも複雑でデータが多く必要ですが、異なる変数間の関係を扱うため、より正確になる可能性があります。

IoT時系列データは、リモートヘルスケア、ウェアラブルデバイス、エネルギー管理、スマートビル、交通など、さまざまな分野から生成されており、異常検出、監視システム、信号分類、故障診断、保守予測など、多様なIoT問題で広く使用されています（図1）。IoT時系列データは他のタイプのデータとは異なるいくつかのユニークな特性を持ち、これらの特性を理解し、活用することはIoTアプリケーションにおける効果的な分析、モデリング、意思決定に不可欠です。例えば、高次元性はIoT時系列分析において拡張性を必要とする重要な課題です。また、データは継続的に生成されるため、リアルタイムまたはストリーミングデータ処理方法がデータフローの処理、即時分析、タイムリーな意思決定を行うために必要です。さらに、ノイズや欠損値がデータ品質を低下させる可能性があり、データ整合性を確保するためにデータクリーニングや前処理技術の使用が必要です。これらの課題を克服するために、研究者によってさまざまな作業が提案されています。この論文は、他の研究と同様に方法だけでなく、時系列データのタイプの変更や方法の変更にも焦点を当てています。

イメージ変換

時系列データを視覚表現（例えば画像）に変換する時系列画像変換は、IoTコンテキスト内で重要なプロセスです。この技術は、大量のデータをコンパクトな視覚形式に圧縮することでIoTデータの次元を削減し、IoT時系列データからの重要な特徴やパターンの抽出においてより成功しています。さらに、畳み込みニューラルネットワーク（CNN）のようなディープラーニングアルゴリズムとシームレスに統合されます。これらの変換は、IoTアプリケーションにおける時系列データの分析、解釈、利用を強化します。IoT時系列データを画像に変換するプロセスは、図2に示されています。

図2. IoT時系列データの画像変換の全体フレームワーク

文献には様々な画像変換技術が記述されています。これらの方法は一般的にUTSに直接適用されますが、通常MTSには直接適用されません。この問題に対処するために、いくつかの融合方法が文献で議論されています。画像または特徴の融合は、画像や特徴から必要な情報を統合するために提案されたプロセスです。MTSデータを二次元（2D）画像に変換する際には、融合方法を使用して異なる変数やデータソースからの情報を組み合わせ、単一の画像表現を作成することができます。

文献で人気のある融合技術の一つはチャネルベースの融合で、RGBまたはマルチスペクトルチャネル画像が、各変数を異なる色のチャネル（例えば、赤、緑、青）に割り当てることによって作成されます。また、一部の研究ではテンソル画像融合を使用しています。MTSデータはテンソルとして考えられ、テンソル分解技術（例えば、標準多重線形分解）を用いてテンソルデータからパターンや相互作用を抽出します。最後に、特徴レベル（初期融合）と意思決定レベル（後期融合）を使用してMTSを変換することができます。異なる変数は入力段階で統合され、特徴レベルで任意の方法と共に処理されます。一方、各変数は別々に画像に変換され、その後、意思決定レベルで後の段階でこれらの画像が組み合わされます。また、多くの研究者は意思決定レベルと特徴レベルの両方で融合を行うハイブリッド融合を使用しています。

時系列から画像への変換技術

一次元（1D）時系列を二次元画像に変換する方法はいくつかあります。文献でよく使われている手法のいくつかを以下に説明します。また、表Iはこれらの手法を使用した研究を示しています。

表1. IoTのための画像変換技術の研究

グラミアン角フィールド（GAF）

時系列データ$X = {x_1, x_2, ..., x_N}$を画像にエンコードするには、3つのステップがあります。この方法は、時系列データを視覚的な表現に変換する有効な方法で、特にパターン認識や時系列データの分析において有用です。

スケーリング: 最初に、時系列Xは区間[0,1]にスケーリングされます。これは次の方程式(1)に従って行われます：

ここで、$\tilde{X}_i$はスケーリングされた時系列のi番目の要素です。

極座標系への変換: 次に、1次元時系列のデカルト座標系を極座標系に変換します。これにより、時系列の新しい表現が得られます。角度の余弦（φ）と半径（r）は、次の方程式(2)を用いて再スケーリングされた時系列を極座標で表すために計算されます：

ここで、t_iはタイムスタンプ、Nは極座標系の範囲を正規化するための定数係数です。

GASFとGADFの計算: GASF（Gramian Angular Summation Field）とGADF（Gramian Angular Difference Field）の2種類のトリゴノメトリ関数の和/差に基づく形式があります。GASFは方程式(3)と(4)で、GADFは方程式(5)と(6)で定義されます。

ここで、Iは単位ベクトル[1,1,...,1]を指します。

以上のステップを通じて、時系列データは画像に変換され、深層学習やその他の高度な分析技術で扱いやすくなります。

マルコフ遷移フィールド（MTF）

マルコフ遷移場（MTF）は、時系列データ内の時間領域情報を維持し、シーケンシャルなマルコフ遷移確率を表現する強力なツールです。量子ビンのマルコフ行列を利用することで、MTFは時系列データを画像に変換するアプローチを提供します。

エンコーディングプロセスは、時系列Xから始まり、そのQ量子ビンを決定します。次に、各xiが対応するビンqj(j ∈ [1, Q])に割り当てられます。その後、隣接行列W = QxQが得られます。ここで、各要素wi,jは、qjの点がqiの点に続く頻度を表します。最後に、以下の方程式(7)に示されるように、マルコフ遷移行列が構築されます。

このプロセスにより、時系列データは画像形式に変換され、データの特徴やパターンをより直感的かつ視覚的に分析することができるようになります。この方法は、時系列データの時間的依存関係を維持しつつ、データの次元性を削減し、ディープラーニングや他の高度な分析手法に適した形式でデータを表現することを可能にします。

リカバリープロット（RP）

リカレントプロット（RP）は、動的なフレームワークで生成された時系列の繰り返し行動を視覚化し分析するために広く使用されるツールです。RPは、軌跡間のペアワイズ距離を計算することによって再帰的な行列によって決定されます。その要素は次の方程式(8)によって計算されます：

ここで、εは閾値であり、Θは距離行列を二値化するために使用されるヘヴィサイド関数で、負の引数に対しては値がゼロで、正の引数に対しては値が一になります。RPは、サブシーケンス間の距離行列を計算することによって、時系列の局所的な相関情報と隠れたパターンを明らかにします。この方法は、時系列データ内の繰り返しパターンやダイナミクスを視覚的に捉えるのに役立ち、特に複雑なシステムや非線形ダイナミクスを分析する際に有用です。RPは、時系列データの構造的な特徴やパターンを明らかにすることで、データの深い理解を促進し、時系列分析や予測モデリングにおいて重要な洞察を提供します。

短時間フーリエ変換 (STFT)

短時間フーリエ変換（STFT）は、元の信号の周波数ドメイン表現と見なすことができます。STFTは窓関数を利用して時間領域信号の一部を抽出し、それにフーリエ変換を行ってさまざまな信号特性を特定します。与えられた信号y(x)のSTFTは、次の方程式(9)で計算されます：

ここで、ω(t)は窓関数です。さらに、スペクトログラムはSTFTの振幅を二乗することにより生成されます：

STFTは信号の時間的変動を考慮しながら周波数成分を解析するための強力なツールです。これにより、信号の時間的な変化を捉えることができ、特に非定常信号や時間的に変動する信号の分析に適しています。スペクトログラムは、これらの周波数成分の時間的変化を視覚的に示すために使用され、信号のダイナミクスを理解するのに役立ちます。この方法は、音声解析、音楽処理、バイオメディカル信号処理など、多くの分野で広く利用されています。

連続ウェーブレット変換 (CWT)

連続ウェーブレット変換（CWT）は、時間解像度を犠牲にして周波数に基づいて調整される不安定な窓サイズを提供します。STFTは信号の時空間特性の優れた表現を提供しますが、周波数ドメインにおいて固定された解像度を持つため、特定のシナリオでは常に理想的ではありません。一方、CWTは時間領域信号y(t)に対して線形に作用する操作であり、次の方程式(11)で与えられます：

ここで、φ($ \frac{t-b}{a} $) $\frac{t-b}{a} $)$ は、ベースウェーブレット関数 $φ (t)$ をスケーリングとシフトを適用して拡張したバージョンです。 $a > 0$ は関数の広がりを調整するスケーリング変数であり、bは信号を分析する必要がある時刻、つまり時間シフトパラメータです。

信号のCWTの視覚的表現はスカログラムと呼ばれます。CWTは、異なるスケールで信号を分析することにより、信号の時間的および周波数的特性をより柔軟に捉えることができます。これにより、信号の局所的な特性や異常を識別しやすくなり、特に非定常または複雑な信号の分析に有効です。スカログラムは、これらの特性を視覚的に捉え、信号の詳細な理解に役立ちます。CWTは、音声信号処理、地震データ解析、心電図（ECG）の分析など、多様な分野で広く利用されています。

ヒルベルト・ファン変換 (HHT)

ヒルベルト・フアン変換（HHT）は、非定常かつ非線形な信号の分析手法です。非定常および非線形システムの分析において多くの技術が失敗する可能性がある中で、HHTはデータの時空間エネルギー表現の課題を軽減します。HHTには、経験的モード分解（EMD）とヒルベルト変換（HT）という2つの主要なフェーズが含まれています。

変換プロセスにはいくつかのステップが含まれます。まず、EMDが使用され、信号から固有モード関数（IMF）が得られます。次に、各IMFコンポーネントに対してヒルベルト変換が適用されます。最後に、瞬時周波数と振幅が計算されます。

HHTは、信号をIMFに分解し、それぞれに対してヒルベルト変換を適用することで、信号の時間的および周波数的特性をより詳細に分析することができます。これにより、非定常または非線形な信号のダイナミクスや変動を捉えることができ、信号の構造やパターンをより深く理解することが可能になります。HHTは、特に複雑な信号や時間的に変動する信号の分析において有効なツールとなります。

その他の変換方法

IoT時系列データを変換するために、前述の方法に加えて、さまざまなタイプの問題に対処するために一般的に使用される代替技術も文献で提供されています。これらの方法はIoT時系列データの変換において重要な役割を果たしています。特に注目すべきアプローチには、データ正規化とマトリックス変換の組み合わせ、直接描画法、ガウス混合回帰（GMR）、グレースケールエンコーディング（GS）、グレースケール画像表現、RGBカラー画像変換、ウェーブレット分散画像（WVI）法などがあります。これらの技術は、IoT時系列データの変換と分析の向上において効果的であるため、文献で人気を博しています。

Garciaらは、最小および最大スケーリングではなく、GAFエンコーディングに従って元の式の下限と上限を選択することによって、GSを変更しました。
Wangらは、PythonのMatplotlibパッケージ内のplt関数を使用して、信号を直接2Dスペクトルマップに変換する直接描画法を使用しました。直接描画法は、STFT後のGAFおよびMTFよりも高い精度を持っています。
GSの主なアイデアは、時系列の生信号を画像に変換することです。時系列の生信号は画像のピクセルを順に完成させます。
Wenらは、製造システムの故障診断のためにCNNを使用してGSを再構成しました。
データ正規化とマトリックス変換を組み合わせた変換方法は、2D画像表現に使用されました。1次元時系列データはまずn特徴を持つ[0,1]で正規化され、その特徴はmxm行列形式で配置されます。最後に、この行列は28x28ピクセルにリサイズされ、グレースケール画像またはRGBカラー画像として保存されます。
電圧-電流（VI）軌跡は、VI軌跡をメッシュ化することによってピクセル化されたVI画像（nxn行列）に変換することができます。
Quらは、Weighted Voltage–Current（WVI）軌跡画像に基づいて信号の対応する特徴に従って2D負荷シグネチャを生成しました。

表 II. データ型による画像変換アプリケーションの概要

IoTアプリケーションにおける画像変換

IoTには、時系列データが頻繁に使用されるさまざまな領域が含まれます。時系列データとは、時間の経過とともに一定の間隔で収集される一連のデータポイントを含むデータタイプです。表IIは、既存の研究を9つのIoTドメインに分類してまとめたものです。時系列データがよく利用されるIoT領域をいくつか紹介します：

表III. IoT応用領域における画像変換技術の研究概要

セキュリティとプライバシー

IoTのセキュリティとプライバシー分野は、IoTシステム、デバイス、データの機密性、完全性、可用性、およびプライバシーを確保することに関連する課題やリスクを処理することに焦点を当てています。IoT分野におけるセキュリティは、不正アクセス、データ漏洩、およびIoTデバイスとシステムの機能性、完全性、機密性を危険にさらす可能性のある悪意のある活動を阻止するための実装を含みます。IoT分野におけるプライバシーは、個人の個人情報の保護と、IoTシステムによってそれがどのように収集、使用、共有されるかに対する個人のコントロールを指します。

IoT時系列データは、IoTシステム内の挙動、パターン、異常に関する貴重な洞察を提供することにより、セキュリティとプライバシー分野において重要な役割を果たしています。時系列データ内に含まれる機密情報を保護するために、匿名化、暗号化、アクセス制御が適切に適用されるべきです。IoTセキュリティとプライバシーの文脈では、時系列データは侵入検出、不正アクセス検出、異常検出、セキュリティ分析予測など、さまざまな目的に活用されることができます。

Baldiniらは、無線周波数（RF）放射に基づくIoT無線デバイスの認証手法を提案しました。提案されたアプローチは、CNNとRP（RP-CNN）を組み合わせ、11台のIoTデバイスから収集された実験データであるRF放射データセットでテストされました。
Lyuらは、侵入パターン認識フレームワークを提案しました。GAFとCNNに基づくこの方法は、光ファイバー侵入イベントの6種類に対して0.58秒の高速応答時間と97.57%の高い認識精度を達成しました。
Zhuらは、IoTアプリケーションにおける異常なトラフィックと脆弱性攻撃を検出するための監視システムを開発しました。このシステムでは、時系列データをGAFグラフに変換し、CNNとLSTMの組み合わせモデルがトラフィック監視に利用されました。
Bertalanicらは、無線リンク層における異常検出のための画像変換とディープラーニングに基づく新しいリソース対応アプローチを提案しました。時系列データはRPとGAFを使用して画像に変換され、実験ではRPがGAF方法より最大14%優れていることが示されました。

エネルギー管理

IoTはエネルギー消費の監視と制御、スマートグリッド管理、再生可能エネルギー源の統合を可能にし、エネルギー配分の最適化、無駄の削減、持続可能性の向上に役立っています。以下は、IoT技術を活用したエネルギー関連の研究事例です。

Fahimら:住宅建物における異常なエネルギー消費を検出するための「Time-series to Image（TSI）」モデルを提案しました。この研究は、非常に短期間の分析のために単変量時系列エネルギーデータを分析することに焦点を当てています。提案モデルはOne-Class Support Vector Machine（OCSVM）を分類器として、MTFを単変量時系列データを画像に変換するコンバーターとして利用しました。
EstebsariとRajabi:単一住宅負荷のためのCNNと画像エンコーディング方法に基づくハイブリッドモデルを提案しました。RP、GAF、MTFの3つの異なる画像エンコーディング方法を歴史的な負荷時系列データに適用し、RPが3つのエンコーディング方法の中で最も優れたパフォーマンスを示しました。
Alsalemiら:エッジインターネットエネルギーアプリケーションの分類のためのEfficientNet-B0に基づく新しいGAF分類器を開発しました。軽量な2Dエネルギー消費分類器をODROID-XU4プラットフォームで動作させることを目指しました。
Copiacoら:建物のエネルギー消費の異常を検出するための2D事前訓練されたCNNモデルを提案しました。このモデルは、エネルギー時系列信号の2DバージョンをAlexNetやGoogleNetなどの事前訓練されたモデルに入力し、線形サポートベクターマシン（SVM）分類器の特徴として使用しました。
ChenとWang:ノンイントルーシブ負荷モニタリング（NILM）分野の負荷認識タスク用のエッジコンピューティングアーキテクチャを提案し、データ伝送量とネットワーク帯域幅の要件を削減しました。家電の負荷シグネチャを構築するためにGAFに基づくカラーエンコーディング方法も開発しました。
Quら:WVI、MTF、およびI-GAFに基づく3つの2D負荷シグネチャを構築し、NILMでの家電識別のために新しいResidual Convolutional Neural Networkを設計しました。EN-SE-RECNNは他のモデルよりも優れたパフォーマンスを示しました。

これらの研究は、エネルギー時系列データを画像に変換し、ディープラーニングや他の高度な分析手法を利用することで、エネルギー消費の監視、異常検出、負荷認識などにおいて有効な洞察を提供しています。

ヘルスケア

IoT技術を活用したヘルスケアアプリケーションにおいて、時系列データは患者のバイタルサインの監視、健康トレンドの分析、疾病発生の予測、ヘルスケアリソースの最適化に役立ちます。以下は、IoT技術を活用したヘルスケア関連の研究事例です。

ZhouとKan: インターネット・オブ・ヘルス・シングス（IoHT）ベースの心臓モニタリングと心臓健康のスマート管理のためのECG異常検出のテンソルベースのフレームワークを開発しました。多チャネルECG信号はGADFを使用して2D画像に変換されました。
Sreenivasら: 二重チャネルECG信号における不整脈の分類のためのCNNモデルを提案しました。GAFとMTFがECG時系列信号を画像に変換するために使用され、GAFモデルがMTFよりも高い精度を達成したことが示されました。
Anjanaら: EEG信号を使用して人間の感情を分類するための画像エンコーディングアプローチに基づくCNNモデルを提案しました。スペクトログラム、スカログラム、HHTがEEG信号データを画像に変換するために使用され、スカログラムの画像エンコーディングが最高の分類精度を提供することが示されました。
Paulaら: 安定状態視覚誘発電位（SSVEP）信号の分類のための2DカーネルベースのCNNアーキテクチャを提案しました。EEGデータはGADF、GASF、MTF、RPを使用して画像にエンコードされ、GADFとRPが一貫して高いパフォーマンスを示しました。
Johnら: 心疾患の正確な診断を目指した無線センシングに基づく心臓モニタリングシステムを開発しました。このシステムは、長距離伝送のためにMQTTを使用し、データの前処理と特徴抽出のためにHTTを使用しました。
Sharmaら: COVID-19の早期遠隔検出のためのオントロジーベースの患者モニタリングシステムを導入しました。提案されたシステムは、ECG、PPG、体温、加速度計などの1Dバイオメディカル信号を使用するアラーム対応バイオウェアラブルセンサーシステムに依存していました。
Chenら: 非侵襲型負荷モニタリング（NILM）分野の負荷認識タスク用のエッジコンピューティングアーキテクチャを提案しました。

これらの研究は、画像変換技術とディープラーニングを組み合わせることで、ECG、EEG、その他の医療関連の時系列データを分析し、疾病の診断、異常検出、感情認識などの分野で有効な洞察を提供しています。

産業向け

産業用IoT（IIoT）は、製造、エネルギー輸送、その他の産業分野におけるデータ監視、分析、最適化を可能にするために、産業機器、機械、システムを接続することを含みます。産業環境では、時系列データは機器のパフォーマンス監視、故障予測、メンテナンススケジュールの最適化、全体的な運用効率の向上に役立ちます。IIoTにおいては、さまざまな画像エンコーディング方法が、効率的でインテリジェントな故障診断を提供するために一般的に使用されています。

Wangら: 単チャネルおよびマルチチャネルのベアリング信号の故障診断のためのフレームワークを提案しました。スペクトルマップ情報融合とCNNを組み合わせて、高速な故障診断を実現しました。
Zhangら: GAF、極限学習機械（ELM）、およびCNNを組み合わせた新しい故障診断方法を提案しました。異なるエンコーディング方法を探索し、パターン認識のための選択されたエンコーディング技術の有効性を示しました。
Santoら: 予測保守のために時系列エンコーディング技術とCNNを組み合わせたモデルを開発しました。RP、GAF、MTF、ウェーブレット変換など、4つの主要なエンコーディング技術を評価しました。
Ferraroら: ハードディスクドライブ（HDD）の健康状態を予測するために、GAFを使用して時系列データを画像に変換し、ディープラーニング戦略を活用する効率的な予測保守方法を開発しました。
Jiangら: ワイヤ放電加工（WEDM）の製品品質を予測するために、MTF、CNN、およびLSTMを組み合わせたMTF-CLSTM方法を提案しました。MTFは動的なWEDM製造条件を画像に変換するために使用されました。
Garciaら: 時系列信号を画像に変換する際の大規模データセットの変動に対する堅牢性を高めるために、6つのエンコーディング方法（GAF、MTF、RP、GS、スペクトログラム、スカログラム）とその変更を探求しました。
Baiら: 1D電気パラメータを2D画像に変換するためにGAFとMTFを使用し、油井からの電気パラメータの不十分なデータサンプルを処理するためにDeep Convolutional Generative Adversarial Network（DCGAN）を使用する故障診断方法「Time-series Conversion-DCGAN（TSC-DCGAN）」を提案しました。

これらの研究は、GAF、MTF、STFTなどの画像エンコーディング技術を活用し、IIoT環境における故障診断、品質予測、保守管理などの分野で有効な洞察を提供しています。これらの技術は、複雑な産業時系列データをより扱いやすくし、より効率的な分析と意思決定を可能にします。

環境モニタリング

IoTデバイスは、空気質、水質、汚染レベル、自然資源の保全などの環境条件を監視・管理するために利用されています。これらのソリューションは環境保護と持続可能な実践に役立ちます。

Abidiら: 2Dエンコードされた多変量衛星画像時系列（SITS）に基づいた土地利用/土地被覆（LULC）マッピングの分類のためのフレームワークを提案しました。この研究では、多変量SITSデータがGADF、GASF、MTF、およびRPによって2D画像に変換されました。その結果、RP技術がすべてのエンコーディング技術よりも優れたパフォーマンスを示しました。さらに、2Dエンコーディング技術の組み合わせは、単独でのエンコーディング方法を使用するよりも優れたパフォーマンスを達成しました。

この研究は、IoT技術を活用して環境データを収集し、分析することで、土地利用や土地被覆のマッピングに新しいアプローチを提供します。画像エンコーディング技術は、時系列データからより豊富な情報を抽出し、より正確な分類と解析を可能にすることで、環境モニタリングと持続可能性に向けた取り組みを強化します。このようなアプローチは、環境保護と持続可能な開発目標に貢献する重要な役割を果たす可能性があります。

スマート・ビルディング

スマートビルは、居住者の快適性を高め、エネルギー消費を削減し、安全性とセキュリティを向上させ、建物の運用とメンテナンスを最適化します。スマートビルにおける時系列データは、HVAC（暖房、換気、エアコン）、照明、占有などのさまざまなビルシステムの監視と制御に使用されます。

Sayedら: 温度、湿度、光センサーなどの環境センサーデータを使用した占有検出のアプローチを提示しました。この研究では、多変量時系列データを画像変換方法を用いてグレースケールおよびRGB画像に変換し、より適切にエンコードし、関連する特徴を取得しました。この方法は、GAFなどの一般的に使用される方法とは異なり、データ正規化とマトリックス変換をカバーしました。結果は、グレースケール画像がカラー画像と比較して、精度とトレーニング時間の適切なバランスを提供することを示しました。

この研究は、スマートビル環境におけるセンサーデータの利用を示しており、特に占有検出などの特定のアプリケーションにおいて、時系列データの分析と特徴抽出を強化するために画像変換技術がどのように活用されるかを明らかにしています。このアプローチは、ビルのシステムのより効率的な監視と制御に貢献し、エネルギー消費の削減や居住者の快適性の向上などの目的を達成するために重要な役割を果たします。

輸送・物流

IoTアプリケーションは、輸送および物流分野でのフリート管理、車両追跡、ルート最適化、貨物監視、ドライバーの安全性など、業界を変革する潜在力を持っています。これにより、インテリジェントな意思決定が可能になり、コスト削減と顧客体験の向上が図れます。

Huangら: 交通センサーデータの欠損値再構築のための新しい方法、Traffic Sensor Data Imputation GAN（TSDIGAN）を開発しました。この研究では、GASF（Gramian Angular Summation Field）を用いて時系列交通データを処理し、CNNを使用して欠損値を補完するために画像形式に変換しました。

このような進展は、輸送および物流業界におけるIoTの応用を大きく進化させています。フリート管理では、車両からの時系列データを分析してメンテナンスの必要性を予測し、燃料消費を最適化し、ルート計画を改善することが可能です。車両追跡とルート最適化により、移動時間と燃料消費が削減され、運用コストと排出量が低減されます。貨物監視は輸送中の商品の安全性と完全性を保証し、ドライバーの安全アプリケーションはリスク行動を検出し、事故防止のための警告を提供することができます。

このように、輸送と物流におけるIoTの利用は、運用効率、安全性、顧客満足度の点で大きな利益をもたらします。Huangらのような先進的なデータ分析技術とIoT技術の進歩により、よりつながりのある、効率的で持続可能な輸送業界への道が開かれています。

ウェアラブル端末

ウェアラブルデバイスは、個人が着用できる携帯型デバイスにテクノロジーを統合することに焦点を当てています。これらのデバイスには、センサー、接続機能、コンピューティングパワーが装備されており、データ収集、環境との相互作用、パーソナライズされた体験の提供が可能です。ウェアラブルデバイスには、加速度計、心拍数モニター、GPS、温度センサーなど、ユーザーとその環境に関するデータを収集するためのさまざまなセンサーが組み込まれています。また、BluetoothやWi-Fiなどの無線技術を通じて他のデバイスやネットワークに接続されています。

ウェアラブルデバイスは、個人にパーソナライズされたデータや体験への便利なアクセスを提供し、健康のモニタリング、フィットネスの向上、よりシームレスで目立たない方法での接続を実現します。IoTとウェアラブルデバイスの進歩に伴い、センサーベースの人間行動認識（HAR）が利便性とプライバシーの特性のために重要性を増しています。

Xuら: HARのためのGAFと深層CNNに基づく2つの改善を提示しました。この研究の結果は、開発されたモデルがGAFアルゴリズムの特性を活用し、CNNの構造と利点、残留学習、拡張畳み込みと組み合わせることによって、多スケール特徴を効率的に抽出し、行動認識の精度を向上させることができたことを示しました。

このように、ウェアラブルデバイスとIoT技術の進歩により、センサーデータを利用した人間行動認識が重要な分野となっており、ウェアラブルデバイスを使用して健康管理、フィットネス向上、生活の質の向上を実現する新しい方法が提供されています。

その他

IoT分野のさまざまな研究では、IoTの異なる分野から得られたデータを用いています。これらの研究では、提案された方法が多様な分野から得られたデータセットに与える影響が検証されています。

Yangら: 1次元信号の分類のために、よく知られたMTSデータセットであるWaferとECGを使用しました。MTSデータはGASF、GADF、MTFを適用して2D画像に変換され、これらの画像はConvNet分類モデルのRGB入力チャネルとして連結されました。エンコーディング方法の選択は予測結果に大きな影響を与えないと結論付けられました。
Jiangら: 24のベンチマークIoTデータセットにわたるUTSおよびMTSデータの分類のための適応型Dila-DenseNet（ADDN）モデルを評価しました。UTSとMTSデータは、GAFおよびMTFメソッドを活用してGM画像に変換され、ADDNモデルに供給されました。
Quanら: 時系列分類結果に対する異なる特徴構築および融合方法の影響を調査しました。この研究では、GAF、MTF、RPでエンコードされた3つの画像が、GMR画像として三チャンネルのデータ入力として重ね合わされました。また、1次元のマルチスケール特徴と2次元の画像特徴は、Squeeze-and-Excitation（SE）およびSelf-Attention（SA）特徴融合アーキテクチャを含む2つの異なる方法で融合されました。
Hasanら: デジタルツインに基づくセンサー故障検出アプローチを紹介しました。センサーのデジタル表現を作成するためにGAN（Generative Adversarial Network）メソッドが使用され、GAFを使用して時系列から得られた画像でGANが訓練されました。

これらの研究は、GAF、MTF、RPなどの画像エンコーディング技術を活用して、時系列データを画像に変換し、ディープラーニングモデルの分類、予測、故障検出などのタスクに適用しています。これにより、IoTのさまざまな分野で効果的なデータ分析と意思決定が可能になります。

研究課題と今後の方向性

IoTデータ分析を促進するために、時系列データを画像に変換することが注目されていますが、この変換プロセスにはいくつかの課題があります。これらの主要な課題と潜在的な解決策を、研究者向けに以下のように提示します。

ノイズと欠損値: IoT時系列データはしばしばセンサーの故障やネットワーク問題によるノイズや欠損値に悩まされます。これは画像品質に悪影響を及ぼす可能性があります。画像のインペインティングモデルやGANベースのモデルなどの欠損値補完方法を利用して、欠損ギャップを処理することができます。
大規模データのエンコーディング: 大規模なIoT時系列データのエンコーディングは、計算的にコストがかかり、メモリ集約的になる可能性があります。計算リソースを圧倒しないように意味のあるパターンを捉えるために、最適な画像寸法を決定する必要があります。
情報損失: 時系列データを画像に変換するプロセスでは、時間情報を2D表現に圧縮するため、情報損失が発生する可能性があります。次元削減と情報損失のトレードオフをバランスすることは、この分野での重要な課題です。
MTSデータの取り扱い: IoT時系列データには複数の変数やセンサーが関与し、MTSを形成することがあります。MTSデータを適切な形式に変換するための効果的な融合技術の開発が必要です。
リアルタイムまたは準リアルタイムの画像表現: ダイナミックなIoT環境におけるリアルタイムまたは準リアルタイムの画像表現は困難です。画像変換プロセスが間隔の時間より長くかかる場合、システムは最終的に失敗する可能性があります。エッジデバイスは、より高速なリアルタイム意思決定のための顕著な計算リソースを提供します。

これらの課題に対処するために、より堅牢な変換技術の開発、エッジとクラウドアーキテクチャの組み合わせ、効果的な融合技術の導入、ハードウェアリソースの増強などが求められています。これにより、IoTアプリケーションにおける時系列データの分析と意思決定がより効率的かつ効果的に行えるようになります。

結論

近年、時系列データを画像に変換する手法が広く普及していますが、IoT分野でのこれらの技術の採用はまだ初期段階にあり、近い将来にはほとんどのIoT分野で一般的になることが期待されています。この研究では、スマートビル、産業環境、エネルギー管理、ヘルスケア、セキュリティなど、様々なIoT分野で使用される画像変換技術についての包括的なレビューを提示しています。既存の研究を、そのエンコーディング技術、IoTアプリケーション領域、およびデータタイプに基づいて分類しています。

文献では、単変量および多変量の時系列IoTデータにさまざまな変換技術が適用されています。これらの変換技術は通常、多変量時系列IoTデータのための融合技術と組み合わせて使用されます。使用される技術の中で、GAFとMTFは特にエネルギー管理、ヘルスケア、産業アプリケーションなどの分野で最も一般的に使用される画像変換技術であり、異常検出、故障診断、時系列分類などの目的で利用されています。

さらに、この論文では、関連する課題、未解決の問題、および今後の研究方向についても議論しています。これらの技術の採用が進むにつれて、IoTデータの分析と処理に新たな可能性が開かれ、より効果的で効率的なアプリケーションが可能になることが期待されます。