複数の SDK にメリットをもたらすコネクタ関連の取り組み。

Splittable DoFn

Splittable DoFn は、現在の境界付きおよび境界なしソースの開発フレームワークに代わる、Beam の次世代ソースフレームワークです。Splittable DoFn は、現在の Beam の移植性の取り組みと並行して開発されています。詳細については、Beam ポータビリティフレームワークのロードマップを参照してください。

クロスランゲージ変換

最終更新日: 2020年5月

Beam ポータビリティの取り組みの付加的な利点として、SDK 間で Beam 変換を利用できるようになります。これには多くの利点があります。

完了済みおよび進行中の取り組み

クロスランゲージ変換に関連する多くの取り組みが現在進行中です。完了済みおよび進行中の取り組みの一部を以下に示します。

クロスランゲージ変換 API および拡張サービス

Java/Python/Go SDK 用のクロスランゲージ変換 API の開発/更新、およびクロスランゲージ変換拡張サービスに関連する作業。

Flink ランナーでクロスランゲージ変換を利用できるようにする作業。

Dataflow ランナーのサポート

Dataflow ランナーでクロスランゲージ変換を利用できるようにする作業。

Direct ランナーのサポート

Direct ランナーでクロスランゲージ変換を利用できるようにする作業

コネクタ/変換のサポート

既存のコネクタ/変換をクロスランゲージ変換フレームワークを通じて他の SDK で利用できるようにするための、進行中および計画中の作業。

ポータブル Beam スキーマ

ポータブル Beam スキーマのサポートは、言語の境界を越えてデータをシリアル化および転送するための一般的なメカニズムを提供し、クロスランゲージ変換を使用するパイプラインに非常に役立ちます。

統合/パフォーマンステスト

ドキュメント

Beam Web サイトにクロスランゲージ変換に関するドキュメントを追加する作業。