Apache Beam 2.44.0

Beamの新しい2.44.0リリースを発表できることを嬉しく思います。このリリースには、改善点と新しい機能の両方が含まれています。このリリースのダウンロードページを参照してください。

2.44.0の変更点の詳細については、詳細なリリースノートをご覧ください。

I/O

  • Bigtableシンク(WriteおよびWriteBatch)のサポートが追加されました(Go)(#23324)。
  • BeamファイルシステムのS3実装(Go)(#23991)。
  • SingleStoreDBソースとシンクのサポートが追加されました(Java)(#22617)。
  • AzureファイルシステムでDefaultAzureCredential認証のサポートが追加されました(Python)(#24210)。
  • CDAPバッチおよびストリーミングソース/シンク用の新しいCdapIOが追加されました(Java)(#24961)。
  • Sparkレシーバー2.4.*用の新しいSparkReceiverIOが追加されました(Java)(#24960)。

新機能/改善点

  • Beamは、graphvizでパイプライングラフをレンダリングできるポータブルな「ランナー」を提供するようになりました。詳細については、python -m apache_beam.runners.render --helpを参照してください。
  • ローカルパッケージをrequirements.txtファイル内の依存関係として使用できるようになりました。--extra_packageオプションを介して別途渡す必要はありません(Python)(#23684)。
  • パイプラインリソースヒントが--resource_hintsフラグを介してサポートされるようになりました(Go)(#23990)。
  • 依存関係を一時的なvenvにインストールすることにより、ポータブルランナーでPython SDKコンテナーを再利用可能にします(BEAM-12792)。
  • RunInferenceモデルハンドラーがPythonでのカスタム推論関数の指定をサポートするようになりました(#22572
  • map_windows urnのサポートがGo SDKに追加されました(#24307)。

破壊的な変更

  • 分割可能な読み取りが2.35.0からデフォルトの動作になっているため、ParquetIO.withSplitが削除されました。この変更の効果は、分割不可能な読み取りのサポートを削除することです(Java)(#23832)。
  • beam-sdks-java-extensions-google-cloud-platform-coreは、Java SDKハーネスの依存関係ではなくなりました。ポータブルランナー(Dataflow Runner v2など)の一部のユーザーは、このパッケージに未宣言の依存関係を持っている可能性があり(たとえば、TextIOでGCSを使用するなど)、依存関係を宣言する必要があります。
  • beam-sdks-java-coreは、Java SDKハーネスの依存関係ではなくなりました。ポータブルランナー(Dataflow Runner v2など)のユーザーは、このパッケージとその依存関係を提供する必要があります。
  • スライスは、Beam Iterable Coderを使用するようになりました。これにより、クロス言語での使用が可能になりますが、スライスタイプがPCollection要素またはState API要素として使用されている場合、パイプラインの更新が中断されます。(Go)#24339

バグ修正

  • JmsIO確認応答の問題が修正されました(Java)(#20814
  • Beam SQL CalciteUtils(Java)およびクロス言語JdbcIO(Python)がJDBC CHAR/VARCHAR、BINARY/VARBINARY論理型をサポートしていなかった問題を修正しました(#23747#23526)。
  • 反復された型と放出された型が、型およびスキーマレジストリに登録された汎用登録パッケージで使用されるようにします。(Go)(#23889

貢献者リスト

git shortlogによると、以下の人々が2.44.0リリースに貢献しました。すべての貢献者に感謝します!

Ahmed Abualsaud

Ahmet Altay

Alex Merose

Alexey Inkin

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrej Galad

Andrew Pilloud

Ayush Sharma

Benjamin Gonzalez

Bjorn Pedersen

Brian Hulette

Bruno Volpato

Bulat Safiullin

Chamikara Jayalath

Chris Gavin

Damon Douglas

Danielle Syse

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dmitry Repin

Doug Judd

Elias Segundo Antonio

Evan Galpin

Evgeny Antyshev

Heejong Lee

Henrik Heggelund-Berg

Israel Herraiz

Jack McCluskey

Jan Lukavský

Janek Bevendorff

Johanna Öjeling

John J. Casey

Jozef Vilcek

Kanishk Karanawat

Kenneth Knowles

Kiley Sok

Laksh

Liam Miller-Cushon

Luke Cwik

MakarkinSAkvelon

Minbo Bae

Moritz Mack

Nancy Xu

Ning Kang

Nivaldo Tokuda

Oleh Borysevych

Pablo Estrada

Philippe Moussalli

Pranav Bhandari

Rebecca Szper

Reuven Lax

Rick Smit

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ryan Thompson

Sam Whittle

Sanil Jain

Scott Strong

Shubham Krishna

Steven van Rossum

Svetak Sundhar

Thiago Nunes

Tianyang Hu

Trevor Gevers

Valentyn Tymofieiev

Vitaly Terentyev

Vladislav Chunikhin

Xinyu Liu

Yi Hu

Yichi Zhang

AdalbertMemSQL

agvdndor

andremissaglia

arne-alex

bullet03

camphillips22

capthiron

creste

fab-jul

illoise

kn1kn1

nancyxu123

peridotml

shinannegans

smeet07