2021年01月01日
AI時代のデータ有効活用「DataOps」
DataOps(データオプス)とは、2013年に本コラムで取り上げたDevOps(※1)と同様でData(データ)とOperation(運用)を組み合わせた造語です。DevOpsの目的が開発者と運用者のコラボレーションによる最適なサービスの提供であるように、DataOpsは「データ提供者」と「データ利用者」のコラボレーションによってデータの有効活用を行うことが目的です。この考え方は2014年にIBMの記事(※2)が初出と言われています。ここ最近のクラウドの普及とAI/機械学習技術の進歩により注目されるようになりました。
最近注目されるようになった背景
クラウドの普及により、コンピューターで扱えるデータの量はクラウド普及以前とは比べ物にならないほど増えています。また、インターネット上にはさまざまなデータが大量に散在するため、これらを有効活用するためには散在しているデータを集約・整形するなどの準備が必要です。一般的にデータを目的達成のために利用する時間は2割程度と言われています(図1)。実際にデータを収集して利用者が使える状態に加工する準備段階において全体の8割もの時間を費やしてしまい、ビジネスに価値のある時間は残りの2割なっています。如何に準備段階の時間を減らすかがデータ有効活用のキーになります。
また、データの有効活用によって大きな価値を見出すためには、より多くの種類と量のデータを利用できれば良いことは自明ですが、そのためには準備に膨大な作業時間が必要になります。そこで、ここ最近のAI/機械学習技術の進歩により、データ利用のための準備作業の自動化や省力化が実現できるようになってきました。DataOpsはこれを実現するための考えかたの一つで、実際に実現できるようになってきたため注目されるようになってきたのです。
ビジネス・レディなデータとDataOps
ビジネスでデータを有効活用できるように準備されたデータをIBMでは「ビジネス・レディなデータ」と呼び、DataOpsはこの「ビジネス・レディ」なデータを提供するための考え方です。同社では「ビジネス・レディ」には6つの要素が不可欠だと説明しています(※3)。これを簡単に説明すると、以下のような役割を持つ要素が必要です。
- データ提供者:データ収集とデータ準備をAI/機械学習の技術で自動化できる仕組みとガバナンスの維持。
- データ利用者:データ準備のカスタマイズとデータ利用ができる。
- システム:継続的にデータを収集し、データ利用者が行ったカスタマイズを学習してデータ分類と仕分けの精度を向上しつづける。また、収集と利用はできるだけ多くの他システムから可能にする。
ビジネス・レディなデータは、データをExcelなどのツールで集計・作表して可視化するだけではなくAI/機械学習のためのデータとして利用することができます。AI/機械学習は不具合発生予測や販売予測といった高度なデータ分析に利用できます。従来ではAI/機械学習で分析するためのデータの準備は専門知識が必要でした。DataOpsでは、データの準備をAI/機械学習が行い、どのように準備するかは利用者自身がカスタマイズできることが求められます。そして、利用者が行ったカスタマイズはシステムが自動でデータを収集・整形するための学習データになるため、使えば使うほどデータ準備の精度が増していきます。例えば、「合計」「総計」など表現の揺れを利用者が同じ意味としてカスタマイズすると、システムはこれを学習し自動分類の精度が高まっていきます。データ提供者は、データ準備作業にかかる時間を大幅に削減することができるため、どのようなデータをどの様に利用者へ提供すればビジネス価値が高められるか、ガバナンスの強化など、データ利用者がデータから得られる価値の向上をどう実現するかの考慮に注力することができます。 ますます膨大になるデータをより有効活用していくための解としてDataOpsの実現が今後さらに注目されていくと考えられます。
※1:サービスの開発と運用を一体化! ユーザーに素早く価値を届ける「DevOps」
https://www.kobelcosys.co.jp/sp/column/itwords/279/
※2:3 reasons why DataOps is essential for big data success
https://www.ibmbigdatahub.com/blog/3-reasons-why-dataops-essential-big-data-success
※3:DataOpsに不可欠な6つの要素とは
https://www.ibm.com/blogs/solutions/jp-ja/6-dataops-essentials/
2021年1月
最新の記事
年別
ITの可能性が満載のメルマガを、お客様への想いと共にお届けします!
Kobelco Systems Letter を購読