ディレード処理

ディレード処理

ディレード処理は、複数のプログラムで構成された処理を、特定時間まとめたデータで一括に処理する方法。

ディレード処理とは

ディレード処理とは

ディレード処理は、事前に作成した複数のプログラムで構成された処理(ジョブ)を、実行計画(分、時間)を作り、オンライン処理実行時、実行計画にあった対象データで、一括に処理すること。

ディレード処理とバッチ処理の違い

ディレード処理とバッチ処理の違い

ディレード処理

オンライン処理実行時に実行され対象のデータ量は少なく処理時間も短い。

バッチ処理

オンライン処理実行の有無に限らず実行され、対象のデータ量が多く、処理時間は長い。オンライン実行前処理に該当する夜間バッチ処理は、対象データ量の増大に伴い、想定外に処理時間がかかり、オンライン処理が起動できない障害を発生させることがある為、対象データ量の把握を常時する必要があります。

関連記事:バッチ処理に関する記事はこちら

ディレード処理の基本データ(テーブル)操作

ディレード処理の基本データ操作

ディレード処理の基本データ(テーブル)操作は、データ読込、検索、データ結合、データマッチング、データ集計、データ加工、データ出力です。

  • データ読込み
  • 検索:ファイル(テーブル)の指定項目を条件(指定値と同じ、指定値と違う、指定値以上、指定値以下、指定値前方一致、指定値後方一致、指定値部分一致)で抽出
  • データ結合:ファイル(テーブル)を縦に結合
  • データマッチング:ファイル(テーブル)を横に結合
  • データ集計:ファイル(テーブル)の指定項目を軸に、指定項目の集計(件数、最小値、最大値、合計、平均)
  • データ加工:項目追加、項目結合、項目内容変更、項目削除、項目データ型式(整数型、文字型、日付型、日付時刻型、浮動小数点型)変更
  • データ出力

ディレード処理の利点

ディレード処理の利点

  • コンピュータ(サーバ)の資源(CPU、物理メモリ、仮想メモリ、ディスク、ネットワーク)の有効活用
  • ユーザが介在することなく、実行計画に従って処理実行可能
  • オンライン処理とのすみ分け(処理起動指示有無、処理時間指定有無)を行うことにより、業務システム運用におけるユーザ対応ミスを減らす
  • 外部システムとのデータ連携処理の自動化
  • 多種の入出力データを取り扱える「DB、テキストファイル(CSVファイル)、Excelファイル、XMLファイル、Jsonファイル、Parquetファイル、Avroファイル)

ディレード処理の欠点

ディレード処理の欠点

  • ディレード処理実行結果を常時監視する必要あり。特にオンライン処理に関係する異常処理が発生した場合は、速やかに対応する必要がある。
  • 入出力データは、異常処理対応の為に、必ずバックアップが必要。

データ整備サービスの詳細

データ整備、レポート

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

Step1 データ確認(データ確認レポート):データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間(最短2日)で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

Step2 データ整備:テーブル編集仕様をもとに、新たなデータを作成

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間(最短4日)でCSVファイルをお返しいたします。

Step3 データ再確認(データ確認レポート):新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。

関連動画:ディレード処理事例

前の記事

テキストデータ処理

次の記事

夜間バッチ処理