今、世間では生成AIの利用が急速に拡大しています。
調べもの、長い文書の要約、翻訳など様々な業務で活用できます。おそらく、日常的にITを業務活用されている皆さんの中に、「一度も生成AIを使ったことのない」人はおられないのではと思います。すでに、生成AIを日常業務に利用し、仕事の効率を上げている方も多いのではないでしょうか。この生成AIは、今までテキストによる入出力が中心でした。これを一歩進めた技術が発展しつつあります。それがマルチモーダルAIです。

マルチモーダルAIとは

モーダルとは、「モード」や「様式」、「感覚」といった意味で、マルチモーダルとは、いくつかの「モーダル」が複合しそれによって成り立つ認知の仕組みのことです。視覚や聴覚といった複数の「感覚」を使って認知を行う人間は、まさにマルチモーダルと言えます。
一方、「マルチモーダルAI」は、テキスト、画像、音声、動画など複数の異なる種類のデータ形式を組み合わせて生成・処理することができる人工知能技術です。従来の、テキスト、画像、音声、動画など単一の種類のデータ形式のみを扱うAIをシングルモーダルAIと呼びます。それに対して、マルチモーダルAIは、複数の異なる種類のデータを同時に理解したり、生成したりすることができ、さらに高度な理解、豊かな表現が可能になります。より人間に近い人工知能(AI)と言えるでしょう。

マルチモーダルAIの応用例

いくつか例を挙げてみましょう。

(1) 顧客対応の自動化
マルチモーダル生成AIを活用することで、顧客からの問い合わせに対してより自然で直感的な応答を提供することができます。例えば、顧客が商品に関して質問をすると、その質問にテキストで答えるだけでなく、画像や動画を使って商品を紹介したり、デモンストレーションを行ったりすることが可能です。このように、複数のメディアを活用することで、顧客の理解度を高め、以前にも増して良い顧客体験を提供できます。

(2) マーケティングと広告
マルチモーダル生成AIはパーソナライズされた広告の作成にも利用することができます。例えば、顧客の検索履歴や購入履歴に基づいて、顧客に最適な商品をテキストや画像、動画を組み合わせた形で広告として提供することができます。これにより、消費者に対して、さらに魅力的で効果的な広告を配信することが可能となります。

(3)製造プロセスへの応用
製造業においても、生産工程や設備保全のノウハウをテキスト、音声、画像、動画などを組み合わせて表示することで、人間が理解しやすい作業標準の作成が可能です。これらは技能継承にも有効で、今後、広く使われていくものと思われます。

(4) プロダクトデザインと開発
これは少し先の話になりますが、企業の製品開発部門において、マルチモーダルAIはデザインのプロセスを革新するツールとなり得ます。例えば、テキストによる製品の仕様を入力すると、それに基づいた3Dモデリングや、製品の使用シーンを示すビジュアルコンテンツを自動生成することが可能です。このように、設計とビジュアルのプロトタイピングを効率化することができ、デザインの迅速な反復と改善を促進します。

(5) 医療分野
医療分野でも、マルチモーダルAIは非常に有望です。医療画像(X線やCTスキャンなど）と患者の診療情報を統合し、診断や予後の予測を行うシステムが開発されています。例えば、画像認識技術とテキストベースの診断結果を組み合わせることで、医師が診断の過程を補完したり、患者に対する説明をより効果的に行ったりすることができます。

マルチモーダルAIの課題と将来

このようにマルチモーダルAIの技術は急速に進化しており、今後さらに多くの業界での応用が期待されています。しかし、いくつかの課題も存在します。例えば、異なる種類のデータ形式でのデータ統合の際の解決や、データの正確性、信頼性の確保が重要です。また、大量のデータを扱うためのコンピュータ資源の確保や、多様なデータを扱うためプライバシーやセキュリティの問題も解決すべき課題です。
技術の進展にともなって、マルチモーダルAIは今後の企業にとって非常に強力なツールとなり、競争優位性を高めるための重要な要素となると思われます。今後、活用のハードルがより一層下がっていくでしょう。ぜひ皆さんもこの技術に関心を持っておくことをお勧めします。

コベルコシステムにおいても保守運用の高度化の取組みを実施してきており、これらの技術に取組んでいきます。
（常務取締役 CTO CIO 林 高弘）