DX推進に高価なETLはいらない
社内に点在するデータを統合するには、ETLツールはとても便利なツールです。ところが、DX推進にはETLツールが足枷となるかもしれません。
ETLの必要性と課題
社内に点在するデータを統合するには、ETLツールはとても便利なツールで、DX推進には欠かせないツールのように見えます。ところが、ETLには、「処理が終わらない」「専門知識が必要」「使えないExtract(抽出)」という課題(詳しくは「ETL」をお読みください)があります。これがDX推進の足枷にもなりかねないのです。
DXを推進する上ではデータの有効活用が鍵となりますが、そのスピードが重要な要素の一つです。「処理が終わらない」という課題は明らかにスピードが上がらないことです。また、「専門知識が必要」ということは新たなデータが発生したり、処理内容に変更を加えようとしたときに、外部への委託が必要となる。つまり、高額な費用と長い時間がかかることになり、対応できた時には「時すでに遅し」ということにもなりかねません。
データレイクという考え方
さらに、DX推進には基幹システムや業務システムのデータに加え、IoT、自社サイトやEC、SNSのログ、オープンデータなど社内外の多種多様なデータを取り扱う必要があり、そこには様々なデータを発生した状態で溜めておき、必要な時に誰もがデータ活用できる基盤「データレイク」(詳しくは「データレイク」をお読みください)という考え方が必要となります。
今までは、基幹システムや業務システムのデータをExtract(抽出)し、抽出したデータを Transform(変換)する。そして、整形されたデータを DWHにLoad(格納)するというETLが重要でした。しかし、データレイクという考え方では、まずはExtract(抽出)とLoad(格納)、そしてデータを利用する時にTransform(変換)ということになります。ETLではなく、ELTと言えます。
ETLに変わるもの
決してETLを否定するわけではありません。ETLツールには、安価で手軽に扱えるものもあり、少量のデータで簡単な処理であれば、とても便利で有効なツールであることに変わりはありません。ただ、大量のデータを扱う場合には、スピードが上がりません。そこで、様々なデータから「必要な情報を抽出し、必要な形にする」データ活用(データ整備/加工)を瞬時に実現できる超高速データ処理システム「SOFIT Super REALISM」を利用することで、データの有効活用ができDXを推進することが可能となります。
関連サイト:超高速データ処理システム「SOFIT Super REALISM」
関連動画:5分でわかるREALISM