アドホック処理
アドホック処理とは、一定期間まとめたデータを、リアルタイムに近い時間で処理する方法です。
アドホック処理とは
アドホック処理は、ディスクに蓄積したデータで、情報を得たい時に、試行錯誤(トライ&エラー:さまざまな角度からデータを眺める)しながら目的の情報を得る為のビッグデータの処理技術です。類義語として、インタラクティブ処理、対話処理、会話型処理、リアルタイム処理があり、その他の処理技術は、バッチ処理、ストリーム処理があります。
- 企業戦略立案や、意思決定に役立つ情報収集は、方法論が確立されていない為、想定されていない処理で、試行錯誤する必要があります。特に、ビッグデータを取り扱う際は、コスト(費用を抑え、ノンプログラミング)、スピード(超高速処理:ファイル読込み、結合、マッチング、検索、集計、計算、ファイル出力)、ユーザ対応(誰もが簡単に、データ加工・編集処理を対話形式で視覚的に処理)が求められます。
- サイバーセキュリティ分野では、インシデント(不正アクセス、不正中継、システムへの侵入、データの改ざん、サービス妨害)発生時の、ログ(ファイアウォール・プロキシ・Active Directory・DNS・メール)検索条件を試行錯誤しながら手探りで処理するに利用される。
バッチ処理とは
バッチ処理:ディスクに蓄積したデータを、事前にプログラムで処理内容と実行開始時間を定義して一括処理する。多種多様な条件で処理内容を定義できますが、柔軟な(処理対象ファイル変更及び追加、処理条件変更及び追加、出力ファイル変更及び追加)処理内容の変更や、データ量増大に伴う、処理時間増加の素早い対応は難しい。
ストリーム処理とは
ストリーム処理:リアルタイムで発生する大量データ(少量単位でまとめ)を、事前に決めた処理内容(課金処理:クラウドサービスの利用料金、携帯電話の通話料。不正・異常検知:システム不正ログイン、システム異常、気象データ、株価)で時系列に常時処理し、必要なデータを出力しますが、過去のデータを用いて再実行する処理することには向きません。
データ整備サービスの詳細
データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。
Step1 データ確認(データ確認レポート):データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認
CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間(最短2日)で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。
Step2 データ整備:テーブル編集仕様をもとに、新たなデータを作成
いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間(最短4日)でCSVファイルをお返しいたします。
Step3 データ再確認(データ確認レポート):新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認
データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。