ストリーミング

term_id: streaming

Category: engineering_practice

Definition

ストリーミングとは、データが生成される際にリアルタイムまたはニアリアルタイムで継続的に取り込み、処理することを指します。固定されたデータセットを扱うバッチ処理とは異なり、ストリーミングシステムは境界のないデータフローを管理し、低遅延での応答を実現します。

Summary

大量の静的バッチではなく、到着するたびに小さなチャンクで情報を継続的に処理するデータ処理パラダイム。

Key Concepts

  • リアルタイム処理
  • 増分更新
  • 低遅延
  • 非限定データ

Use Cases

  • 金融取引におけるリアルタイム不正検知
  • IoTシステムにおけるライブセンサーデータの監視
  • 動的コンテンツ推薦フィード