Beamの新しい2.47.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.47.0の変更の詳細については、詳細なリリースノートを確認してください。

ハイライト

• Apache BeamにPython 3.11のサポートが追加されました（#23848）。

I/O

• BigQuery Storage Write APIが、クロスランゲージ経由でPython SDKで利用できるようになりました（#21961）。
• Hbase（Java）へのRowMutations（rowkeyで順序付け）の書き込みをサポートするHbaseIOを追加しました（#25830）。
• fileioトランスフォームMatchFiles、MatchAll、ReadMatches（Go）を追加しました（#25779）。
• JmsIOの統合テストを追加し、複数接続の問題を修正しました（Java）（#25887）。

新機能/改善点

• FlinkランナーがFlink 1.16.xをサポートするようになりました（#25046）。
• スキーマ化されたPTransformsを、PCollectionsと同様にBeamデータフレームに直接適用できるようになりました。（複数の操作を行う場合は、過剰な変換を避けるために、`df | (Transform1 | Transform2 | ...)`のように操作を明示的に連結する方が効率的な場合があることに注意してください。）
• Go SDKに、side inputパターンをゆっくりと更新するためのサポートを拡張する新しいトランスフォームperiodic.Impulseとperiodic.Sequenceが追加されました。（#23106）
• Python SDKの依存関係チェーンにあるいくつかのGoogleクライアントライブラリが、利用可能な最新のメジャーバージョンに更新されました。（#24599）

破壊的な変更

• メインセッションのロードに失敗した場合、パイプラインはワーカーの起動時に失敗するようになりました。（#25401）。
• Pythonパイプラインオプションは、単一のダッシュで始まる解析されていないコマンドラインフラグを無視するようになりました。（#25943）。
• SmallestPerKeyコンバイナーは、オプションのパラメーター（`key`や`reverse`など）を指定するために、キーワードのみの引数が必要になりました。（#25888）。

非推奨

• Google Cloud Debuggerサービスの停止に対応して、Cloud Debuggerのサポートとそのパイプラインオプションは非推奨となり、次のBeamバージョンで削除されます。（Java）（#25959）。

バグ修正

• バッチパイプラインのSTORAGE_WRITE_APIモードのBigQueryシンクでは、Beam SDK 2.35.0〜2.46.0（両端を含む）のその他の無関係な一時的なエラーの処理中に、データの一貫性の問題が発生する可能性があります。詳細については、https://github.com/apache/beam/issues/26521を参照してください。

既知の問題

• autoUpdateSchemaを使用したBigQueryIO Storage API書き込みは、Beam SDK 2.45.0〜2.47.0（両端を含む）でデータの破損を引き起こす可能性があります（#26789）。
• 長時間実行されるPythonパイプラインでメモリリークが発生する可能性があります：#28246。

貢献者リスト

git shortlogによると、次の人々が2.47.0リリースに貢献しました。貢献者の皆様に感謝します！

Ahmed Abualsaud

Ahmet Altay

Alexey Romanenko

Amir Fayazi

Amrane Ait Zeouay

Anand Inguva

Andrew Pilloud

Andrey Kot

Bjorn Pedersen

Bruno Volpato

Buqian Zheng

Chamikara Jayalath

ChangyuLi28

Damon

Danny McCormick

Dmitry Repin

George Ma

Jack Dingilian

Jack McCluskey

Jasper Van den Bossche

Jeremy Edwards

Jiangjie (Becket) Qin

Johanna Öjeling

Juta Staes

Kenneth Knowles

Kyle Weaver

Mattie Fu

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Rebecca Szper

Reuven Lax

Reza Rokni

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Saadat Su

Saifuddin53

Sam Rohde

Shubham Krishna

Svetak Sundhar

Theodore Ni

Thomas Gaddy

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Xinyu Liu

Yanan Hao

Yi Hu

Yuvi Panda

andres-vv

bochap

dannikay

darshan-sj

dependabot[bot]

harrisonlimh

hnnsgstfssn

jrmccluskey

liferoad

tvalentyn

xianhualiu

zhangskz