Beamモデルにまだ含まれていない追加の共通機能
| ドレイン |
|---|
| チェックポイント |
| キー順配信 |
| Google Cloud Dataflow | Apache Flink | Apache Spark (RDD/DStreamベース) | Apache Spark Structured Streaming (Datasetベース) | Apache Samza | Apache Nemo | Hazelcast Jet | Twister2 | Python Direct FnRunner | Go Direct Runner |
|---|
部分的に Dataflowにはネイティブなドレイン操作がありますが、イベント時間タイマーループがある場合には機能しません。最終的な実装はモデルのサポート待ちです。 | 部分的に Flinkはパイプラインの「セーブポイント」を取得し、完了後にパイプラインをシャットダウンすることをサポートしています。 | : | : | : | : | : | : | |
いいえ | 部分的に Flinkにはネイティブなセーブポイント機能があります。 | 部分的に Sparkにはネイティブなセーブポイント機能があります。 | いいえ 未実装 | 部分的に Samzaにはネイティブなチェックポイント機能があります。 | : | : | : | |
部分的に Dataflowはバッチとストリーミングで異なるシャッフルアルゴリズムを実行します。Dataflowはストリーミングではキー順配信を保証しますが、バッチでは保証しません。 | 部分的に Flinkはバッチとストリーミングで異なるシャッフルアルゴリズムを実行する場合があります。Flinkはストリーミングではキー順配信を保証しますが、バッチでは保証しません。 | 未確認 | 未確認 | 未確認 | 部分的に Samzaはバッチとストリーミングで異なるシャッフルアルゴリズムを実行する場合があります。Samzaはストリーミングではキー順配信を保証しますが、バッチでは保証しません。 | 未確認 | 未確認 | 未確認 |
最終更新日：2024/10/31
お探しのものはすべて見つかりましたか？
すべてが有益で明確でしたか？何か変更したい点はありますか？ぜひお知らせください！