Apache Beam 2.22.0

Beamの新しい2.22.0リリースを発表いたします。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.22.0の変更点の詳細については、詳細なリリースノートをご覧ください。

I/O

  • DataflowRunnerの基本的なKafka読み取り/書き込みサポート(Python)(BEAM-8019)。
  • Google Healthcare APIのソースとシンク(Java)(BEAM-9468)。

新機能/改善

  • Dataflowストリーミングパイプラインで`--workerCacheMB`フラグがサポートされるようになりました(BEAM-9964
  • FnApiランナーで`--direct_num_workers=0`がサポートされるようになりました。パイプラインを実行するマシンのコア数にスレッド/サブプロセスの数を設定します(BEAM-9443)。
  • Python SDKはSqlTransformの試験的なサポートを提供するようになりました(BEAM-8603)。
  • Stateful DoFnにOnWindowExpirationメソッドを追加しました(BEAM-1589)。
  • Google Cloud DLP(データ損失防止)サービス統合のためのPTransformを追加しました(BEAM-9723
    • データの検査、
    • データの匿名化、
    • データの再識別。
  • ドキュメントサイトにより完全なI/Oサポートマトリックスを追加しました(BEAM-9916)。
  • PyDocをビルドするためにSphinxを3.0.3にアップグレードしました。
  • Google Cloud AI画像処理サービスを使用した画像アノテーション用のPTransformを追加しました(BEAM-9646

破壊的変更

  • Python SDKで`--runner=PortableRunner`を使用する場合、`--job_endpoint`を設定する必要があります(BEAM-9860)。以前のデフォルトの動作が必要なユーザーは、代わりに`--runner=FlinkRunner`を設定する必要があります。

貢献者一覧

git shortlogによると、以下のユーザーが2.22.0リリースに貢献しました。すべての貢献者に感謝します!

(省略:貢献者一覧は日本語のままで問題ありません)