処理対象のデータが増えると、処理時間が長くなる為、ユーザは処理時間短縮したい。

処理対象データ

DX（デジタルトランスフォーメーション）推進で、処理対象データは爆発的に増加しています。

• 各業務システムDB（会計業務、人事業務、生産業務、物流業務、販売業務）のデータ
• DWH（Data WareHouse）/CRM（Customer Relationship Management）のデータ
• EUC（End User Computing）Microsoft Office製品（Word、Excel、Access）のデータ
• ログデータ（操作ログ、認証ログ、イベントログ、通信ログ、印刷ログ、設定変更ログ、エラーログ）
• ソーシャルデータ（Facebook、Twitter、LINEなどの個人間のコミュニケーションデータ）
• IoTデータ（センサー：画像、映像、音声、温度、湿度、日時）
• オープンデータ（政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育）

処理時間短縮方法は、ハード、ソフトの両面から考えられる。

ハードでの処理時間短縮（最新のハードにする）

CPU性能（CPU種類、クロック周波数、コア数）は高速なもの、メモリ容量（メインメモリ、キャッシュメモリ）は大きく、ディスク種類（SSD：Solid State Drive、HDD：Hard Disk Drive）はSSDを選択する。ただし、OSの制限がある。

• Windows2019サーバの制限：CPU数最大64、メモリ最大24TB、ファイルシステム最大256TB（NTFS：NT File System）、ファイルシステム最大4.7 ZB（ReFS：Resilient File System）
• Linux Enterprise Server 15の制限：CPU数最大8192、メモリ最大64TB、ファイル最大16EB（XFS：eXtents File System）

ソフトでの処理時間短縮

• 並列処理：コンピュータに複数の処理装置を内蔵し、複数の命令の流れを同時に実行させる。
• 分散処理：コンピュータが実行する１つの処理を、データおよび処理を複数のコンピュータに分割しそれぞれを実行させる。
• 分散DB：物理テーブルを複数のディスクに配置することにより、並列に読み書きできる。
• テキストファイルでのバッチ処理：DBでは処理時間が掛かる（およびDBに入りきらない）ビッグデータ順次処理

データ整備サービスの詳細

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

Step１　データ確認（データ確認レポート）：データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間（最短2日）で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

Step２　データ整備：テーブル編集仕様をもとに、新たなデータを作成

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間（最短4日）でCSVファイルをお返しいたします。

Step３　データ再確認（データ確認レポート）：新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。