処理時間短縮

処理時間短縮

DX(デジタルトランスフォーメーション)推進で、処理対象データは爆発的に増加しています。

処理対象データ

・各業務システムDB(会計業務、人事業務、生産業務、物流業務、販売業務)のデータ
・DWH(Data WareHouse)/CRM(Customer Relationship Management)のデータ
・EUC(End User Computing)Microsoft Office製品(Word、Excel、Access)のデータ
・ログデータ(操作ログ、認証ログ、イベントログ、通信ログ、印刷ログ、設定変更ログ、エラーログ)
・ソーシャルデータ(Facebook、Twitter、LINEなどの個人間のコミュニケーションデータ)
・IoTデータ(センサー:画像、映像、音声、温度、湿度、日時)
・オープンデータ(政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育)

処理時間短縮方法は、ハード、ソフトの両面から考えられる。

□ハードでの処理時間短縮(最新のハードにする)

CPU性能(CPU種類、クロック周波数、コア数)は高速なもの、メモリ容量(メインメモリ、キャッシュメモリ)は大きく、ディスク種類(

SSD:Solid State Drive、HDD:Hard Disk Drive)はSSDを選択する。ただし、OSの制限がある。
・Windows2019サーバの制限:CPU数最大64、メモリ最大24TB、ファイルシステム最大256TB(NTFS:NT File System)、ファイルシステム最大4.7 ZB(ReFS:Resilient File System)
・Linux Enterprise Server 15の制限:CPU数最大8192、メモリ最大64TB、ファイル最大16EB(XFS:eXtents File System)

□ソフトでの処理時間短縮
・並列処理:コンピュータに複数の処理装置を内蔵し、複数の命令の流れを同時に実行させる。
・分散処理:コンピュータが実行する1つの処理を、データおよび処理を複数のコンピュータに分割しそれぞれを実行させる。
・分散DB:物理テーブルを複数のディスクに配置することにより、並列に読み書きできる。
・テキストファイルでのバッチ処理:DBでは処理時間が掛かる(およびDBに入りきらない)ビッグデータ順次処理

データ整備サービスの詳細

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

Step1 データ確認(データ確認レポート):データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間(最短2日)で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

Step2 データ整備:テーブル編集仕様をもとに、新たなデータを作成

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間(最短4日)でCSVファイルをお返しいたします。

Step3 データ再確認(データ確認レポート):新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。

次の記事

バッチ処理