ブログ & リリース

2024/02/14

Apache Beam 2.54.0

Robert Burke [@lostluck]

Beamの新しい2.54.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースの詳細は、ダウンロードページをご覧ください。

2.54.0の変更の詳細については、詳細なリリースノートをご覧ください。

ハイライト

  • Enrichment Transformが、Python SDKにGCP BigTableハンドラーと共に追加されました（#30001）。
  • Beam Java BatchパイプラインがGoogle Cloud Dataflow上で実行される際、このバージョンからPortable Runner（v2）がデフォルトになります。（他のすべての言語はすでにRunner V2です。）意図的に有効または無効にする方法については、Runner V2のドキュメントを参照してください。

I/O

  • PythonのStorage Write APIを使用したBigQuery動的宛先への書き込みのサポートを追加しました（#30045）。
  • ClickHouse（Java）でのタプルデータ型のサポートを追加しました（#29715）。
  • FileIO、TextIO、AvroIOへの不正レコード処理のサポートを追加しました（#29670）。
  • BigtableIOへの不正レコード処理のサポートを追加しました（#29885）。

新機能/改善

破壊的変更

  • 該当なし

非推奨

  • 該当なし

バグ修正

  • 2.46.0以降のいくつかのGo SDKに影響するメモリリークを修正しました（#28142）。

セキュリティ修正

  • 該当なし

既知の問題

  • 2.52.0〜2.54.0 SDKで実行され、大きな実体化されたサイド入力を使用する一部のPythonパイプラインは、パフォーマンスの低下の影響を受ける可能性があります。これらのSDKバージョンで以前の動作を復元するには、--max_cache_memory_usage_mb=0パイプラインオプションを指定します（#30360）。
  • 2.53.0〜2.54.0 SDKで実行され、GCSでファイル操作を実行するPythonパイプラインは、過剰なHTTPリクエストの影響を受ける可能性があります。これにより、パフォーマンスの低下や権限の問題が発生する可能性があります（#28398）。
  • Pythonパイプラインでは、非アクティブなバンドルプロセッサをシャットダウンするときに、シャットダウンロジックがロックを過度に保持し、新しい作業の受け入れをブロックする可能性があります。この問題の症状には、長時間実行されるジョブの遅延や停止などがあります。2.56.0で修正されました（#30679）。
  • 2.53.0〜2.58.0 SDKで実行され、GCSからデータを読み取るPythonパイプラインは、データ破損の問題の影響を受ける可能性があります（#32169）。この問題は2.59.0で修正されます（#32135）。この問題を回避するには、google-cloud-storageパッケージをバージョン2.18.2以降に更新してください。

既知の問題の最新リストについては、https://github.com/apache/beam/blob/master/CHANGES.mdを参照してください。

貢献者リスト

git shortlogによると、以下の人々が2.54.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmed Abualsaud

Alexey Romanenko

Anand Inguva

Andrew Crites

Arun Pandian

Bruno Volpato

caneff

Chamikara Jayalath

Changyu Li

Cheskel Twersky

Claire McGinty

clmccart

Damon

Danny McCormick

dependabot[bot]

Edward Cheng

Ferran Fernández Garrido

Hai Joey Tran

hugo-syn

Issac

Jack McCluskey

Jan Lukavský

JayajP

Jeffrey Kinard

Jerry Wang

Jing

Joey Tran

johnjcasey

Kenneth Knowles

Knut Olav Løite

liferoad

Marc

Mark Zitnik

martin trieu

Mattie Fu

Naireen Hussain

Neeraj Bansal

Niel Markwick

Oleh Borysevych

pablo rodriguez defino

Rebecca Szper

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Sam Whittle

Shunping Huang

Svetak Sundhar

S. Veyrié

Talat UYARER

tvalentyn

Vlado Djerek

Yi Hu

Zechen Jian