Beam 機能一覧
Apache Beamは、多様な実行エンジン、またはランナーで実行できる、高度なデータ並列処理パイプラインを構築するためのポータブルAPIレイヤーを提供します。このレイヤーの中核となる概念はBeamモデル(以前はDataflowモデルと呼ばれていました)に基づいており、各Beamランナーで程度は異なりますが実装されています。個々のランナーの機能を明確にするために、以下の機能一覧を作成しました。
個々の機能は、対応するWhat/Where/When/Howの質問によってグループ化されています。
- どのような結果が計算されていますか?
- イベント時間ではどこで?
- 処理時間ではいつ?
- 結果の改良はどのように関連していますか?
What/Where/When/Howの概念の内訳について詳しくは、O'Reilly RadarのStreaming 102の記事をお読みください。
将来的には、ランタイム特性(例:少なくとも1回対正確に1回)、パフォーマンスなど、現在のセットを超える追加のテーブルを追加する予定です。
何が計算されていますか?
|
|---|
| ParDo |
|---|
| GroupByKey |
|---|
| Flatten |
|---|
| Combine |
|---|
| 複合変換 |
|---|
| サイド入力 |
|---|
| ソースAPI |
|---|
| メトリクス |
|---|
| ステートフル処理 |
|---|
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ | ✕ | ✕ |
| ✓ | ✓ | ~ | ~ | ✓ | ✓ | ✓ | ✓ | ✕ | ✕ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ | ✕ | ✕ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ | ✕ | ✕ |
| ~ | ~ | ~ | ~ | ~ | ✓ | ~ | ~ | ✕ | ✕ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ~ | ✓ | ✕ | ✕ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ | ✕ | ✕ |
| ~ | ~ | ~ | ~ | ~ | ✕ | ~ | ✕ | ✕ | ✕ |
| ~ | ~ | ~ | ✕ | ~ | ✕ | ~ | ✕ | ✕ | ✕ |
詳細と完全版はこちらをご覧ください。Bounded Splittable DoFn サポート状況
|
|---|
| 基本 |
|---|
| サイド入力 |
|---|
| Splittable DoFn によって開始されるチェックポイント |
|---|
| 動的分割 |
|---|
| バンドルのファイナライズ |
|---|
| ~ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✓ |
| ~ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ |
| ~ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
| ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
| ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
詳細と完全版はこちらをご覧ください。Unbounded Splittable DoFn サポート状況
|
|---|
| 基本 |
|---|
| サイド入力 |
|---|
| Splittable DoFn によって開始されるチェックポイント |
|---|
| 動的分割 |
|---|
| バンドルのファイナライズ |
|---|
| ✓ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
| ✓ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ |
| ✓ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
| ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ |
| ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | ✓ | ✕ |
詳細と完全版はこちらをご覧ください。イベント時間ではどこで?
|
|---|
| グローバルウィンドウ |
|---|
| 固定ウィンドウ |
|---|
| スライドウィンドウ |
|---|
| セッションウィンドウ |
|---|
| カスタムウィンドウ |
|---|
| カスタムマージウィンドウ |
|---|
| タイムスタンプ制御 |
|---|
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
詳細と完全版はこちらをご覧ください。処理時間ではいつ?
|
|---|
| 設定可能なトリガー |
|---|
| イベント時間トリガー |
|---|
| 処理時間トリガー |
|---|
| カウントトリガー |
|---|
| 複合トリガー |
|---|
| 許容遅延 |
|---|
| タイマー |
|---|
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ~ |
| ✓ | ✓ | ✕ | ✕ | ✓ | ✓ | ✓ | ~ |
| ~ | ~ | ~ | ✕ | ~ | ✕ | ~ | ~ |
詳細と完全版はこちらをご覧ください。改良はどのように関連していますか?
詳細と完全版はこちらをご覧ください。Beamモデルにはまだ含まれていないその他の一般的な機能
| ~ | ~ | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ |
| ✕ | ~ | ~ | ✕ | ~ | ✕ | ✕ | ✕ |
| ~ | ~ | ? | ? | ? | ~ | ? | ? | ? |
詳細と完全版はこちらをご覧ください。
最終更新日:2024/10/31
お探しのものはすべて見つかりましたか?
すべて役に立ち、明確でしたか?変更したいことはありますか?お知らせください!