何が計算されているのですか？
| ParDo |
|---|
| GroupByKey |
| Flatten |
| Combine |
| 複合変換 |
| サイド入力 |
| ソースAPI |
| メトリクス |
| ステートフル処理 |
| Google Cloud Dataflow | Apache Flink | Apache Spark (RDD/DStreamベース) | Apache Spark Structured Streaming (Datasetベース) | Apache Samza | Apache Nemo | Hazelcast Jet | Twister2 | Python Direct FnRunner | Go Direct Runner |
|---|
はい：完全にサポートされています バッチモードでは大きなバンドルサイズを使用します。ストリーミングでは小さなバンドルサイズを使用します。 | はい：完全にサポートされています ParDo自体は、UDFを使用した要素ごとの変換として、Flinkによってバッチとストリーミングの両方で完全にサポートされています。 | はい：完全にサポートされています ParDoは、要素ごとの変換をSpark FlatMapFunctionとして適用します。 | 部分的：バッチモードで完全にサポートされています ParDoは、要素ごとの変換をSpark FlatMapFunctionとして適用します。 | はい：完全にサポートされています 要素ごとの変換でサポートされています。 | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | ||
はい：完全にサポートされています | はい：完全にサポートされています キーのグループ化にFlinkのkeyByを使用します。ストリーミングでウィンドウ別にグループ化する（ペインを作成する）場合、FlinkランナーはBeamコードを使用します。これにより、すべてのウィンドウ化およびトリガーメカニズムのサポートが保証されます。 | 部分的：バッチモードで完全にサポートされています Sparkの<tt>groupByKey</tt>を使用しています。ストリーミングモードでの複数トリガー起動を伴うGroupByKeyは現在開発中です。 | 部分的：バッチモードで完全にサポートされています Sparkの<tt>groupByKey</tt>を使用しています。 | はい：完全にサポートされています キーのグループ化にSamzaのpartitionByを使用し、ウィンドウの集計とトリガーにBeamのロジックを使用します。 | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | ||
はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | 部分的：バッチモードで完全にサポートされています 空のコレクションでのフラット化など、一部のコーナーケースはまだサポートされていません。 | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | ||
はい：効率的な実行 | はい：完全にサポートされています バッチとストリーミングの事前集計にコンバイナーを使用します。 | はい：完全にサポートされています Sparkの<tt>combineByKey</tt>関数と<tt>aggregate</tt>関数を使用しています。 | 部分的：バッチモードで完全にサポートされています Sparkの <tt>Aggregator</tt> と agg 関数を使用しています。 | はい：完全にサポートされています 効率的な事前集計のためにコンバイナーを使用します。 | はい：完全にサポートされています バッチモードでは事前集計を使用します | はい：完全にサポートされています バッチモードでは事前集計を使用します | はい：完全にサポートされています | ||
部分的：インライン化によってサポートされています 現在、複合変換は実行中にインライン化されています。構造は後で名前から再作成されますが、他の変換レベルの情報（モデルに追加されている場合）は失われます。 | 部分的：インライン化によってサポートされています | 部分的：インライン化によってサポートされています | 部分的：バッチモードでのみインライン化によってサポートされています | 部分的：インライン化によってサポートされています | はい：完全にサポートされています | 部分的：インライン化によってサポートされています | 部分的：インライン化によってサポートされています | ||
はい：ストリーミングではサイズ制限があります バッチモードは分散実装をサポートしますが、ストリーミングモードではサイズ制限が強制される場合があります。どちらのモードも、ルックアップをキーベースのソースに直接プッシュすることはできません。 | はい：ストリーミングではサイズ制限があります バッチモードは分散実装をサポートしますが、ストリーミングモードではサイズ制限が強制される場合があります。どちらのモードも、ルックアップをキーベースのソースに直接プッシュすることはできません。 | はい：完全にサポートされています Sparkのブロードキャスト変数を使用しています。ストリーミングモードでは、サイド入力は更新される場合がありますが、マイクロバッチ間でのみ更新されます。 | 部分的：バッチモードで完全にサポートされています Sparkのブロードキャスト変数を使用しています。 | はい：完全にサポートされています サイド入力の配布にSamzaのブロードキャスト演算子を使用します。 | はい：完全にサポートされています | 部分的：制限付き サイド入力ソースが制限されており、ウィンドウ化でグローバルウィンドウが使用されている場合にのみサポートされます | はい：完全にサポートされています | ||
はい：完全にサポートされています サポートには、自動調整機能（https://cloud.google.com/dataflow/service/dataflow-service-desc#autotuning-features）が含まれています。 | はい：完全にサポートされています | はい：完全にサポートされています | 部分的：制限付きソースのみ マイクロバッチモードでSparkのDatasourceV2 APIを使用しています（連続ストリーミングモードはSparkでは実験的とタグ付けされており、集計をサポートしていません）。 | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | はい：完全にサポートされています | ||
部分的 ゲージメトリクスはサポートされていません。他のすべてのメトリックタイプはサポートされています。 | 部分的：すべてのメトリックタイプがサポートされています。 試行された値のみがサポートされています。メトリクスのコミットされた値はありません。 | 部分的：すべてのメトリックタイプがサポートされています。 試行された値のみがサポートされています。メトリクスのコミットされた値はありません。 | 部分的：バッチモードではすべてのメトリックタイプがサポートされています。 試行された値のみがサポートされています。メトリクスのコミットされた値はありません。 | 部分的：カウンターとゲージがサポートされています。 試行された値のみがサポートされています。メトリクスのコミットされた値はありません。 | いいえ：実装されていません | 部分的：バッチモードとストリーミングモードの両方ですべてのメトリックタイプがサポートされています。 コミットされた値と試行された値を区別しません。 | いいえ：実装されていません | ||
部分的：非マージウィンドウ 状態は、マージされないウィンドウでサポートされています。MapState、SetState、およびMultimapState状態タイプは、次のシナリオでサポートされています。ストリーミングエンジンを使用しないJavaパイプライン。ストリーミングエンジンとバージョン2.58.0以降のJava SDKを使用するJavaパイプライン。SetState、MapState、およびMultimapStateは、Runner v2を使用するパイプラインではサポートされていません。 | 部分的：非マージウィンドウ 状態は、マージされないウィンドウでサポートされています。SetStateとMapStateはまだサポートされていません。 | 部分的：バッチモードで完全にサポートされています | いいえ：実装されていません | 部分的：非マージウィンドウ 状態は、rocksDb KVストアまたはインメモリハッシュマップによってバックアップされ、変更ログを使用して永続化されます。 | いいえ：実装されていません | 部分的：非マージウィンドウ | いいえ：実装されていません |
最終更新日：2024/10/31
お探しのものはすべて見つかりましたか？
すべて役に立ち、明確でしたか？変更したいことはありますか？お知らせください！