バッチ処理
バッチ処理は、複数のプログラムで構成された処理および複数の処理を、一定期間まとめたデータで一括に処理する方法。
バッチ処理とは
バッチ処理は、事前に作成した複数のプログラムで構成された処理（ジョブ）を、実行計画（時間、日、週、月、四半期、半期、年次）を作り、実行計画にあった対象データで、一括に処理すること。Windowsではバッチファイル（複数の命令を１つのファイルに記述）がバッチ処理です。
バッチ処理の基本データ（テーブル）操作
バッチ処理の基本データ（テーブル）操作は、データ読込、検索、データ結合、データマッチング、データ集計、データ加工、データ出力です。
- データ読込み
- 検索：ファイル（テーブル）の指定項目を条件（指定値と同じ、指定値と違う、指定値以上、指定値以下、指定値前方一致、指定値後方一致、指定値部分一致）で抽出
- データ結合：ファイル（テーブル）を縦に結合
- データマッチング：ファイル（テーブル）を横に結合
- データ集計：ファイル（テーブル）の指定項目を軸に、指定項目の集計（件数、最小値、最大値、合計、平均）
- データ加工：項目追加、項目結合、項目内容変更、項目削除、項目データ型式（整数型、文字型、日付型、日付時刻型、浮動小数点型）変更
- データ出力
バッチ処理の利点
- コンピュータ（サーバ）の資源（CPU、物理メモリ、仮想メモリ、ディスク、ネットワーク）の有効活用
- ユーザが介在することなく、実行計画に従って処理実行可能
- オンライン処理とのすみ分け（処理起動指示有無、処理時間指定有無）を行うことにより、業務システム運用におけるユーザ対応ミスを減らす
- 外部システムとのデータ連携処理の自動化
- 多種の入出力データを取り扱える「DB、テキストファイル（CSVファイル）、Excelファイル、XMLファイル、JSONファイル、Parquetファイル、Avroファイル）
バッチ処理の欠点
- 業務システム（会計業務、人事業務、生産業務、物流業務、販売業務）で入力したデータを瞬時に反映させる処理には、リアルタイム処理が向いている
- 処理するデータ量増減の対応が必須（データ量が多いと予定処理時間が大幅に増え、いつまでたっても処理が終わらない。またデータがゼロ件でも正常に動作するように考慮する）
- 処理するコンピュータ（サーバ）とデータは、ネットワークで近い場所に保存する（データ量が多いと、ネットワークに負荷がかかり、入出力時間がかかる）
- 複雑なバッチ処理を作成すると、技術共有が難しい（複数の処理がある場合は、異常処理時の再処理ポイントを考慮する）
- 入出力データは、異常処理対応の為に、必ずバックアップが必要。
リアルタイム処理
ユーザ操作および処理要求に対して、すぐに処理すること。
データ整備サービスの詳細
データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。
Step１ データ確認（データ確認レポート）：データ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認
CSVファイルとテーブル仕様をお預かりし、データ確認レポートを短期間（最短2日）で作成いたします。
テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。
Step２ データ整備：テーブル編集仕様をもとに、新たなデータを作成
いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間（最短4日）でCSVファイルをお返しいたします。
Step３ データ再確認（データ確認レポート）：新たなデータ項目毎の「最小値、最大値、最小件数、最大件数、最小桁数、最大桁数」をレポートで確認
データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。
もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。
