データ処理とは、「データを情報に加工・変換」「データと情報を蓄積」「蓄積されたデータと情報から必要に応じて検索、抽出、集計」するコンピュータ処理のことです。データ量が多くなった現代では、データ処理を効率よく行うことで、作業の効率化を図れます。

本記事では、データ処理の基本的な情報をご紹介していきます。ぜひ、参考にして下さい。

データ処理とは

データ処理は、コンピュータ処理のことで、ある期間でデータをひとまとめに保存したデータを、数分から数時間処理するバッチ処理（一括処理、自動処理）と保存データを数秒で処理するオンライン処理（即時処理、対話型処理）にわかれますが、流通業を例にして下記の目的で使用されます。

データを情報に変換するオンライン処理とバッチ処理

POS（Point Of Sales）レジ（コンビニ、衣料品店、スーパーマーケット）は、キャッシュレジスターと商品販売データ作成の機能があります。

• キャッシュレジスター（オンライン処理）は、顧客への商品販売で金額を計算・記録し、決済（現金、クレジット、電子マネー）と商品やり取りの不正を防ぐ目的で使われています。
• 商品販売データ作成（バッチ処理）は、１取引毎に複数行のデータ（いつ、どこで、何を、いくつ、いくらで）を発生させますが、顧客情報（氏名、住所、性別、年齢）を付加し、購買情報「だれが、いつ、どこで、何を、いくつ、いくらで」に変換、商品情報（どこの、何が、いくつ、いくらで仕入）を付加し在庫情報「いつ、どこの、何が、いくつ、どこに、いくらで仕入」に変換し、情報資源にしています。

POSレジは、１店舗内でも複数台設置されいる為、店舗単位にデータはまとめられ、複数店舗展開の場合も全てのデータはまとめられています。

データと情報を蓄積するバッチ処理

購買・在庫情報（大福帳）を明細単位で蓄積しますが、店舗毎の情報でも数万明細となる為、時間、日、週、月でデータ量を減らすために集約処理をおこない、商品の受発注処理は、集約処理（時間、日、週、月）と連動して実施されます。明細単位の情報は直近３ヶ月保存後（長くても１年後）は、削除していました。

ビッグデータ・AIが注目され、コンピュータ処理の高速化と、コンピュータ機器価格が下がった（ムーアの法則：半導体の集積率は１８か月で２倍になる）ことにより、集約処理は見直され、明細単位の蓄積、さらにオープンデータ（例えば気象情報「天気、気温、季節」）を付加し、情報の強化をしています。

蓄積されたデータと情報から必要に応じて検索・抽出・集計

購買情報からマーケティング（時間帯別、地域別、年代、性別の購買分析）まで「顧客分類（優良顧客、一般顧客、休眠顧客）、来店予測、購買予測」の分析をします。

そのほか、高額商品（粗利の大きな特定商品）を何度も購入する顧客、セール商品（粗利の少ない商品）を購入する顧客という見方もあります。

在庫情報からマーチャンダイジング（時間帯別、商品別、発注・仕入分析）で「売れ筋商品、死筋商品、組合わせ商品、商品開発、売り場開発」分析をしています。そのほか、情報番組で紹介される商品が事前に分かった場合、大量に発注する場合もあります。

代表的なデータ分析の4つの方法

本項目では、データを分析する４つの方法についてご紹介します。

RFM分析

RFM分析は、顧客分析の１種です。

Recency （最新購入日）、Frequency（購入回数）、Monetary （累積購入金額）それぞれの項目をランク付け（ポイントを決める）、名寄せ（個人または世帯）した単位でポイントを集計し、顧客分類します。

バスケット分析

「バスケット分析」とは、レジに持っていく買い物かご（バスケット）の中身を、マーケティングデータの解析材料として使う手法です。

一緒に買い物かごに入れて購入する商品を見つけることで、組合せ商品にし、商品カテゴリを無視して商品棚を近くにします。

ABC分析

ABC分析とは、在庫管理において、原材料・製品などの資金的に重要であるものにランクをつけて、分析する手法です。

商品販売数をA（売れ筋）B（死筋）C（どちらでもない）に分類し、商品種類と発注量を調整し、最適な在庫量にします。

トレンド分析

トレンド分析は、あるパラメータの時間の変化を見ながら、その変化の原因となっている事柄を推測する分析手法のことです。

商品販売数を時系列に分析することで、季節や時間に販売数が変化する商品は、発注量を調整し、最適な在庫量及び商品棚の面積を調整をします。

今注目されているデータ処理とは

データ処理は、「IoT/ビッグデータ/AI」の到来で、バッチ処理、オンライン処理のほかに、アドホック処理（トライ＆エラー）、ストリーム処理（リアルタイムでデータを処理し破棄）が注目されています。

アドホック処理

アドホック処理とは、すぐに結果を見たい場合や、そもそも結果が正しいかどうかを確かめるために用いる対話型処理（秒）を表します。

アドホック処理では、処理要求をされたデータをすぐに処理する特徴があります。近年では、リアルタイムで変化を見られることから需要が高まっています。

ストリーム処理

ストリーム処理とは、無限に発生する保存されていない少量データを加工処理（ミリ秒～秒）してデータ保存しています。

ストリーム処理では、データ発生時に、登録しておいたシステムに沿って、集計・分析に必要なデータを抽出し、データ処理を行います。 このデータ処理の際、分析対象データをメモリー上で処理する技術(インメモリデータ処理技術)によって、データ処理が速くなります。

データ処理に用いられる最近注目のプログラミング言語

データ処理に用いられるプログラミング言語は動的と静的なものがあります。本項目では、データ処理でよく使われるプログラミング言語について見ていきます。

動的プログラミング言語

まずは、動的なプログラミング言語についてです。動的プログラミング言語にはいくつかありますが、ここではJavascriptとPythonについて見ていきます。

JavaScript

Javascriptは、WEB上で動的なサイトで使われるプログラミング言語です。

昨今では、node.jsなどのフレームワークやライブラリが充実してします。また、オブジェクト指向を用いることができることからも、利用率が高い言語の１つです。

また、データ処理でも使われる言語であり、今後も注目されていくであろう言語の1つです。

Python

Pythonは、AIなどで注目を浴びている言語です。

C言語などに比べて、予約語が少ないことやアプリケーション、統計データなど幅広い分野で使われています。

データ処理では、Pandasというライブラリが使われることが多いです。Pythonでは、こうしたデータを管理する際に使われるライブラリが多く存在しているため、よく使われます。

静的型付き言語

次に静的型付き言語について見ていきます。

静的型付き言語にもいくつかありますが、ここではJavaとObjective-C / Swift について見ていきます。

Java

まず、Javaはシステム開発でよく使われる言語です。パソコンなどはもちろん、携帯のシステムなどにも使われているプログラミング言語です。

Objective-C / Swift

また、Objective-C / Swift は、iOSのアプリケーションを作成する際に使われるプログラミング言語です。Javaをデータ処理で使うシーンでは、主にビックデータを処理する際に使われることがあります。

データ処理に役立つツール「データ整備サービス」

ここでは、日本ソフト開発株式会社が提供する「データ整備サービス」の概要について解説していきます。

データ整備サービスの３つの特徴

データ整備サービスには、３つの大きな特徴があります。

データ整備サービスの詳細

データ整備サービスでは「データ確認」と「データ整備」を繰り返し、データ活用の課題解決をお手伝いいたします。

データ整備のStep１　データ確認

CSVファイルとテーブル編集仕様をお預かりし、データ確認レポートを短期間（最短２日）で作成いたします。

テーブル編集仕様の作成をお客様で行うことが難しい場合は、弊社にて作成サポートも行っていますのでご安心ください。

データ整備のStep２　データ整備

いただいたテーブル編集仕様を元に、お預かりしているCSVファイルを整備・加工して、短期間（最短４日）でCSVファイルをお返しいたします。

データ整備のStep３　データ再確認

データ整備が終わった後のCSVファイルがテーブル編集仕様に沿ったデータであることを、データ確認レポートによって確認いたします。

もしER図をいただくことができれば、テーブル間整合性レポートの作成も合わせていたします。

データ整備サービスで企業のお悩み解決

データ整備サービスをご利用になることで、企業が持つ以下のようなお悩みを解決することができます。

デジタルトランスフォーメーション(DX)関連のお悩み

「デジタルトランスフォーメーションを進めるために今あるデータの内容を確認しているが、データ量、データ数が多くて、手に負えない」

AI関連のお悩み

「AI用の機械学習（学習データ、適用データ、テストデータ）データ整備を複数人で作成しているが、品質にばらつきがあり、AIで思うような結果が得られない」

データ移行時のお悩み

「ERPシステムをクラウドサービスに移行したいが、データ移行費が高い」

「汎用機からオープン系へのマイグレーションに伴うデータ移行の工数を削減したい」