仮説・検証処理

仮説・検証処理

仮説・検証処理とは

仮説・検証処理は、仮説だて、データ収集、検証処理の順で実施し、統計学を利用した分析とは異なる。

仮説だて

いくつもの仮説を洗い出し、分類する。

データ収集

仮説・検証処理に有効なデータを収集する。データは、「データモデリング、データ標準化、マスタ作成、マスタ統合」後、マスターデータ管理されているデータを収集し、仮説・検証処理用の大福帳データ(検索、抽出、集計時の項目が全て用意されている)を作成する。マスターデータ管理されていないデータを利用する場合も、データ整備し、大福帳データに追加する必要がある。ただし、集計されたデータは収集しない

大福帳データの完成度が、仮説・検証処理成功を左右する。完成度が高ければ、大福帳データを単純な検索・集計するだけで、新たな仮説が生まれるが、完成度が低ければ、より良い仮説を立てても、良い検証結果が得られない。

検証処理

大福帳データを使い、アドホック(リアルタイムに近い時間で試行錯誤:さまざまな角度からデータを眺める)に、分類された仮設ごとに、検証処理する。ただし、仮説に近づけるような検証は避ける。

仮説・検証処理は、繰り返し実行し、仮説の修正、新たな仮説だし、精度の高い仮説を見つけ、検証処理を実行する。

統計学を利用した分析:経験的に得られたバラツキのある少ないサンプルデータから、応用数学の手法を用いて、傾向や予測を立てるときに利用する。ITが進歩する前の、大量のデータを収集して処理できなかったときに確立されたが、専門知識が必要なため、スペシャリストが活用していた。

データ整備サービスの詳細

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

Step1 データ確認(データ確認レポート):データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間(最短2日)で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

Step2 データ整備:テーブル編集仕様をもとに、新たなデータを作成

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間(最短4日)でCSVファイルをお返しいたします。

Step3 データ再確認(データ確認レポート):新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。

前の記事

超高速バッチ処理

次の記事

レポート処理