バッチ処理

バッチ処理

バッチ処理とは

バッチ処理は、事前に作成した複数のプログラムで構成された処理(ジョブ)を、実行計画(時間、日、週、月、四半期、半期、年次)を作り、実行計画にあった対象データで、一括に処理すること。Windowsではバッチファイル(複数の命令を1つのファイルに記述)がバッチ処理です。

バッチ処理の基本データ(テーブル)操作

バッチ処理の基本データ(テーブル)操作は、データ読込、検索、データ結合、データマッチング、データ集計、データ加工、データ出力です。
・データ読込み
・検索:ファイル(テーブル)の指定項目を条件(指定値と同じ、指定値と違う、指定値以上、指定値以下、指定値前方一致、指定値後方一致、指定値部分一致)で抽出
・データ結合:ファイル(テーブル)を縦に結合
・データマッチング:ファイル(テーブル)を横に結合
・データ集計:ファイル(テーブル)の指定項目を軸に、指定項目の集計(件数、最小値、最大値、合計、平均)
・データ加工:項目追加、項目結合、項目内容変更、項目削除、項目データ型式(整数型、文字型、日付型、日付時刻型、浮動小数点型)変更
・データ出力

バッチ処理の利点

・コンピュータ(サーバ)の資源(CPU、物理メモリ、仮想メモリ、ディスク、ネットワーク)の有効活用
・ユーザが介在することなく、実行計画に従って処理実行可能
・オンライン処理とのすみ分け(処理起動指示有無、処理時間指定有無)を行うことにより、業務システム運用におけるユーザ対応ミスを減らす
・外部システムとのデータ連携処理の自動化
・多種の入出力データを取り扱える「DB、テキストファイル(CSVファイル)、Excelファイル、XMLファイル、Jsonファイル、Parquetファイル、Avroファイル)

バッチ処理の欠点

・業務システム(会計業務、人事業務、生産業務、物流業務、販売業務)で入力したデータを瞬時に反映させる処理には、リアルタイム処理が向いている
・処理するデータ量増減の対応が必須(データ量が多いと予定処理時間が大幅に増え、いつまでたっても処理が終わらない。またデータがゼロ件でも正常に動作するように考慮する)
・処理するコンピュータ(サーバ)とデータは、ネットワークで近い場所に保存する(データ量が多いと、ネットワークに負荷がかかり、入出力時間がかかる)
・複雑なバッチ処理を作成すると、技術共有が難しい(複数の処理がある場合は、異常処理時の再処理ポイントを考慮する)
・入出力データは、異常処理対応の為に、必ずバックアップが必要。

リアルタイム処理

ユーザ操作および処理要求に対して、すぐに処理すること。

データ整備サービスの詳細

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

Step1 データ確認(データ確認レポート):データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間(最短2日)で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

Step2 データ整備:テーブル編集仕様をもとに、新たなデータを作成

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間(最短4日)でCSVファイルをお返しいたします。

Step3 データ再確認(データ確認レポート):新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。

前の記事

処理時間短縮

次の記事

マスタ統合