Apache Beam 2.41.0

Beamの新しい2.41.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.41.0の変更点の詳細については、詳細なリリースノートをご覧ください。

I/O

  • プロジェクションプッシュダウンオプティマイザは、2.38.0以降のバッチパイプラインの動作に合わせて、ストリーミングでデフォルトで有効になりました。オプティマイザでバグが発生した場合は、問題を報告し、パイプラインオプション `--experiments=disable_projection_pushdown` を使用してオプティマイザを無効にしてください。

新機能/改善点

  • 以前はJava SDKで使用可能でしたが、Python SDKでもモジュールごとにログレベルのオーバーライドがサポートされるようになりました。(#18222)。

破壊的変更

  • プロジェクションプッシュダウンオプティマイザは、未使用のフィールドを削除するときに、最適化されたパイプラインのDataflowアップグレード互換性を損なう可能性があります。アップグレードする必要がある場合に互換性の問題が発生した場合は、パイプラインオプション `--experiments=disable_projection_pushdown` を使用してオプティマイザを無効にしてください。

非推奨

  • Spark 2.4.xのサポートは非推奨となり、Beam 2.44.0のリリース以降、またはその直後に削除される予定です(Sparkランナー)(#22094)。
  • AWS Java SDK v1用のモジュール amazon-web-services および kinesis は、amazon-web-services2 のために非推奨となり、いくつかのBeamリリース後に最終的に削除される予定です(Java)(#21249)。

バグ修正

  • Java SDK Firestoreコネクタでクエリの再試行が誤ったカーソルを生成する条件を修正しました(#22089)。
  • Go SDKで許容遅延を設定する問題を修正しました。以前はユーザー設定値が無視され、常に0に設定されていました。(#22474)。

既知の問題

貢献者一覧

git shortlogによると、以下のユーザーが2.41.0リリースに貢献しました。すべての貢献者に感謝します!

Ahmed Abualsaud Ahmet Altay akashorabek Alexey Inkin Alexey Romanenko Anand Inguva andoni-guzman Andrew Pilloud Andrey Andy Ye Balázs Németh Benjamin Gonzalez BjornPrime Brian Hulette bulat safiullin bullet03 Byron Ellis Chamikara Jayalath Damon Douglas Daniel Oliveira Daniel Thevessen Danny McCormick David Huntsperger Dheeraj Gharde Etienne Chauchot Evan Galpin Fernando Morales Heejong Lee Jack McCluskey johnjcasey Kenneth Knowles Ke Wu Kiley Sok Liam Miller-Cushon Lucas Nogueira Luke Cwik MakarkinSAkvelon Manu Zhang Minbo Bae Moritz Mack Naireen Hussain Ning Kang Oleh Borysevych Pablo Estrada pablo rodriguez defino Pranav Bhandari Rebecca Szper Red Daly Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Sam Whittle Steven Niemitz Valentyn Tymofieiev Vincent Marquez Vitaly Terentyev Vlad Vladislav Chunikhin Yichi Zhang Yi Hu yirutang Yixiao Shen Yu Feng