センサ・フュージョンとは？「群盲象を評す」という寓話から始めましょう。

現在、私たちの生活はセンサに大きく依存しています。センサは、私たちの五感の延長線上にあり、私たちはそれを通して世界を認識できます。センサは、人体では検知できない細部まで検知できます。これは、将来、スマート社会に住む人々に欠かせない能力です。

しかし、1個のセンサの性能がいかに優れていても、多くの場合、ユーザーの要件を満たすことはできません。たとえば、高価な車載Lidarセンサは、生成された点群データに基づいて、前方に障害物があるか否か判断できます。しかし、障害物の正確な性質を知りたい場合は、「見る」ための車載カメラが必要です。また、物体の動作を検知したい場合は、ミリ波（mmWave）のレーダーも必要です。

このプロセスは、「群盲象を評す」という寓話を思い起こさせます。この寓話では、過去に象に出会ったことのない多くの盲人が象を撫でて、自分の手に触れた部分だけで象を心に描きます。各人が自分の触れた部分だけで違う姿を心に浮かべるのです。この寓話のように、1個のセンサは、その能力に基づいて物体の限られた特徴しか「見る」ことができません。より完全で正確な姿を描くために、物体の特徴に関する複数の情報を組み合わせる必要があります。このように複数のセンサを組み合わせる手法は、「センサ・フュージョン」と呼ばれます。

1つに融合

センサ・フュージョンのより正確な定義は、「一定の基準を満たした複数のセンサまたはデータソースから得た情報およびデータを、コンピュータ技術を用いて自動的に分析および合成することにより、意思決定や推定に必要な情報処理を行うこと」です。データソースの役割を果たすセンサは、同質でも異質でも構いませんが、単に積み重ねるのではなく、データレベルから徹底的に統合されなければなりません。

センサ・フュージョンの多くの例は、既に私たちの生活の中に見られます。センサ・フュージョン技術を使用する主な目的を下記に3つ示します。

• 全体像の把握。1個のセンサの性能で不十分な場合、複数のセンサを連動させることで、より高度な作業を実行できます。たとえば、私たちに馴染みのある9軸MEMS動作センサは、実際は3軸加速度計と3軸ジャイロスコープと3軸デジタルコンパス（地磁気センサ）を統合したものです。このセンサ・フュージョンにより、私たちは正確な動作検知データを取得し、高度なVRおよび他のアプリケーションとして現実的で没入できる体験をユーザーへ提供できます。
• 細部の精緻化。たとえば、GPSやその他の衛星測位技術は、地理的な位置を定める点で、約10メートルの検知精度を備えていますが、屋内では使用できません。Wi-Fi、Bluetooth、UWBなどの局所的な測位技術を統合したり、MEMS慣性測定装置を追加したりすることにより、屋内の物体の測位および動作監視の精度は大幅に向上します。
• 冗長性による安全性の確保。この点で自律走行は最たる例です。さまざまな車載センサを通して取得した情報は、本当の意味で安全性を確保するためにはバックアップして互いに検証しなければなりません。たとえば、自律走行のレベルをL3以上にするためには、車載カメラにミリ波（mmWave）レーダーが組み込まれるでしょう。L4およびL5ともなれば、Lidarセンサは基本的に標準搭載であり、V2X IoVを通して収集されたデータの統合さえ考慮されます。

図1：自律走行で使用されているさまざまな車載センサの例（画像出典：オンラインリソース）

つまり、センサ・フュージョン技術はチームの「コーチ」のような存在であり、異なる能力のセンサを組み合わせて1つのチームをつくり上げることにより、試合に勝つために互いに連携し補い合うことができるのです。

フュージョンの手法

統合すべきセンサを選択したら、次に統合方法を検討します。センサ・フュージョンのアーキテクチャーは、フュージョンの手法に基づいて下記の3種類に分類されます。

• 集中型フュージョン：集中型センサ・フュージョンでは、各センサから取得した生データを統合処理のために中央処理装置（CPU）へ直接送信します。この手法の利点は、精度の高さと柔軟なアルゴリズムです。ただし、処理すべきデータが膨大であるため、CPUの処理能力が低下し、CPUの要件がより高く、データ伝送の遅延を考慮しなければなりません。つまり、実現が困難です。
   
• 分散型フュージョン：いわゆる分散型手法の場合、各センサが取得した元のデータは最初にセンサ近くの場所で処理され、結果が情報統合計算のためにCPUへ送信され、最終的な結果が算出されます。この手法では、低い通信帯域幅、高速計算、およびすぐれた信頼性が必要です。また、元のデータはフィルタに通されて処理されるため、一部の情報が失われます。したがって、基本的に、最終的な結果の精度は集中型の手法ほど高くありません。
   
• ハイブリッドフュージョン：名前のとおり、この手法は上記2つの手法を組み合わせたものです。ハイブリッド手法では、集中型フュージョンの手法を使用するセンサと分散型フュージョンの手法を使用するセンサが組み合わされています。ハイブリッドフュージョンは、集中型フュージョンと分散型フュージョンの利点を兼ね備えているため適応性と安定性は高いですが、システムの構造全体は、より複雑になりがちで、データ通信コストおよび計算処理コストが増加します。

センサ・フュージョンの手法のもう1つの分類方法は、データの処理段階を基準して分類する方法です。一般的に、データの処理では、データの取得、特徴の抽出、および認識と意思決定の3つの段階を通らなければなりません。情報統合は異なるレベルで実行されます。戦略およびアプリケーションのシナリオが異なると、結果は異なります。

この考え方に基づくと、センサ・フュージョンは、データレベルのフュージョン、特徴レベルのフュージョン、および意思決定レベルのフュージョンに分類できます。

• データレベルのフュージョン：データは、複数のセンサで収集された後に統合されます。ただし、データレベルのフュージョンにより処理されるデータは、同じ種類のセンサで収集しなければならず、異なるセンサで収集した異質のデータは処理できません。
   
• 特徴レベルのフュージョン：監視対象物体の属性を反映できる特徴ベクトルは、センサで収集されたデータから抽出されます。このレベルの場合、監視対象物体の特徴に関する情報を統合することは、特徴レベルのフュージョンと呼ばれます。この手法は、主要な特徴情報の一部がデータソースの全情報に置換できるため、実現性があります。
   
• 意思決定レベルのフュージョン：特徴抽出に基づき、いくつかの認識、分類、および簡単な論理演算が実行されて判断が下されます。この場合、情報統合はアプリケーション要件に従って実行され、より高いレベルの意思決定が下されます。これは、意思決定レベルのフュージョンと呼ばれます。一般的に、意思決定レベルのフュージョンは、アプリケーション指向です。

センサ・フュージョンに関する最善の戦略およびアーキテクチャーを選択する場合のガイドラインは存在しないため、常に具体的な現実のアプリケーションに従って決定すべきです。もちろん、アプリケーションに最適なセンサ・フュージョン・アーキテクチャーを選択する場合、処理能力、通信、セキュリティ、コストなど他の要因も考慮しなければなりません。

将来の傾向

どのセンサ・フュージョン・アーキテクチャーを使用するかに関わらず、センサ・フュージョンは、ソフトウェアに大きく依存し、主な課題はアルゴリズムから生じます。つまり、実際のアプリケーションに基づいて効率的なアルゴリズムを開発することは、センサ・フュージョン開発の最優先事項となっています。

アルゴリズム最適化の点で、人工知能（AI）の導入は、センサ・フュージョン開発に継続的な影響を与えています。ソフトウェアは、人工ニューラルネットワーク（ANN）を使用することにより、人間の頭脳の判断および意思決定プロセスを再現できます。ANNは継続的に学習して進化し、ソフトウェアも進化し続け、センサ・フュージョンの開発が加速化されます。

ソフトウェアはセンサ・フュージョンプロセスに不可欠ですが、ハードウェアも重要な役割を果たします。たとえば、すべてのセンサ・フュージョンアルゴリズム処理がメインプロセッサにより実行される場合、プロセッサの負荷は非常に大きくなります。したがって、近年人気のあるアプローチは、センサハブを導入する方法です。センサハブは、メインプロセッサの外部でセンサのデータを独立して処理できます。これによりメインプロセッサの負荷を軽減し、メインプロセッサの稼働時間を削減することにより、システム消費電力も削減できます。これは、ウェアラブル端末やIoT（モノのインターネット）など、消費電力の大きいアプリケーションで必要です。

図2. センサハブの例： この健康管理のウェアラブルセンサシステムでは、光学センサおよび動作センサのデータに対して統合処理を実行するために、MAX32664がセンサハブとして使用されています。（画像提供：Maxim Integrated）

市場調査のデータによると、センサ・フュージョンシステムの需要は、複合年間成長率が約19.4%で、2017年の26億2000万米国ドルから2023年の75億8000万ドルへ拡大する見込みです。すべての指標は、センサ・フュージョン技術の開発およびそのアプリケーションが、2つの成長業界により推進されることを示唆しています。

1つの開発の波は、自律走行が原動力となるでしょう。自動車市場は、センサ・フュージョン技術にとって最も重要な実績となり、新しい技術およびソリューションの創出を促すでしょう。

もう1つの開発の波は、アプリケーションの多様化の傾向が原動力となり、これは加速し続けるでしょう。従来の高性能および安全性要件を持つアプリケーションに加え、家電分野においても、センサ・フュージョン技術は開発者の注目を浴びるでしょう。

つまり、センサ・フュージョンは、世界に対する眼識を得るより正確で効率的な方法を提供するため、私たちは「群盲象を評す」というきまりの悪い状況を回避できるでしょう。センサ・フュージョンおよびそこから得られる眼識を通して、私たちはよりスマートな将来を構築できるのです。