【入門】ストリーム処理とは？ OSS のエンジンを紹介

ビッグデータの分析、機械学習をするにあたり、「ストリーム処理」という言葉を耳にし、以下の疑問が生まれました。

そこで今回はストリーム処理について説明したいと思います。

なお、ビッグデータの分析に関する全体の流れは以下の記事にまとめているため、合わせてご覧ください。

ストリーム処理とは

ストリーム処理とは、ストリーミングデータ（時間の経過とともに無限に流れてくるデータ）を処理することです。バッチ処理と比較してリアルタイム性を重視します。

ストリーミングデータ（イベントストリーム、データストリームとも呼ばれる）の特徴は以下の３つです。

イベント（ストリーミングデータの各データ）には順序があり、順序を重要視するシステムで利用します。

例えば、イベント１「給料 20 万円の振り込み」、イベント２「5 万円の引き出し」には順序があります。残高 0 円の口座の場合、イベント１が先です。逆は残高不足で引き下ろせないのでありえません。

イベントは１度発生すると削除、変更できません。

例えば、イベント「5 万円の引き出し」を後から削除、変更することはできません。このイベントをキャンセルするには、新しいイベント「5 万円を預け入れ」を実行する必要があります。

順序付けされていて、イミュータブルなデータレコードのため、ストリーミングデータは再現可能です。

以下のようなイベントが発生した場合、現在の残高を求めることはもちろん、ある時点での残高を求めることも可能です。

イベント０「残高 0 円で口座開設」
イベント１「5 万円を預け入れ」
イベント２「10 万円を預け入れ」
イベント３「5 万円の引き出し」
イベント４「5 万円を預け入れ」
イベント５「10 万円の引き出し」

例えばイベント３終了時点では、残高が 10 万円であることがわかります。このようにイベントリストから過去のある状態のデータを再現することをマテリアライズと言います。

ストリーム処理とバッチ処理の違いは時間軸の違いです。
ストリーム処理はリアルタイム性を重視し、バッチ処理はリアルタイム性を重視しません（スループットを重視します）。
※ストリーミングデータに特性には時間は関係ありません。

バッチ処理はデータを一括で処理することでスループットを重視します。（例えば、データを都度送信する場合は１つのデータに１つのヘッダが付与されますが、一括でデータを送るとヘッダが１つで済みます。）

例えば、店舗売上の日次処理や、夜中のメンテナンスなどがバッチ処理に含まれ、通常はリアルタイム性を求められません。

ストリーム処理はストリーミングデータが発生する度にデータを処理することでリアルタイム性を重視します。

リアルタイム性が重視される例としては以下のとおりです。

ストリーム処理は、分散ストリーミングプラットフォーム上で実施されることが多いです。

分散ストリーミングプラットフォームは明確な定義はありませんが、一般的には以下の２つから構成されるシステムと言われています。

主に以下のソフトウェアやサービスが分散データストリームのソースを提供します。

分散データストリームのソースとして Apache Kafka を利用する場合は以下の記事をご覧ください。

主に以下のソフトウェアやサービスが分散ストリーム処理を提供します。

分散ストリーミングプラットフォーム（Apache Kafka + Kafka Streams）を企業で使用した例を載せます。