Apache Beam 2.48.0

Beam の新しい 2.48.0 リリースを発表できることを嬉しく思います。このリリースには、改善点と新機能の両方が含まれています。このリリースの詳細については、ダウンロードページをご覧ください。

2.48.0 での変更の詳細については、詳細なリリースノートをご覧ください。

注:このリリースの Go SDK のリリースタグは、リリースタグ sdks/v2.48.0 に誤ったコミットが添付されていたため、sdks/v2.48.0 ではなく sdks/v2.48.2 です。

ハイライト

  • 「Experimental」アノテーションのクリーンアップ:「まだ準備ができていない」という誤解を避けるために、アノテーションと概念が Beam から削除されました。提案された破壊的変更は、「Experimental」を使用してそれらを許可するのではなく、ケースバイケースの賛否両論の意思決定(そして一般的には回避される)の対象となります。

I/O

  • GCS の名前変更とローカルファイルシステムのコピー(Go)を追加しました(#25779)。
  • KinesisIO.Read での拡張ファンアウトのサポートを追加しました(Java)(#19967)。
    • この変更は、KinesisIOソースを持っていた Beam 2.46.0 アプリケーションで作成された Flink セーブポイントと互換性がありません。
  • textio.ReadWithFilename 変換(Go)を追加しました(#25812)。
  • fileio.MatchContinuously 変換(Go)を追加しました(#26186)。

新機能/改善点

  • google-cloud-profiler のサービス名の引き渡しを許可します(Python)(#26280)。
  • Python で RunInference にデッドレターキューのサポートを追加しました(#24209)。
  • RunInference 変換での前処理/後処理操作の定義のサポートを追加しました(#26308
  • ポータブル Beam 変換の検出と使用に使用できる Docker Compose ベースの変換サービスを追加します(#26023)。

破壊的変更

  • Python SDK で MultiProcessShared にタグを渡すことが必須になりました(#26168)。
  • Google Cloud Debugger サービスがシャットダウンするため、Dataflow ランナーの CloudDebuggerOptions は削除されました(Beam v2.47.0 で非推奨)。(Java)(#25959)。
  • AWS 2 クライアントプロバイダー(Beam v2.38.0で非推奨)が最終的に削除されました(#26681)。
  • AWS 2 SnsIO.writeAsync(データ損失のリスクのため、Beam v2.37.0 で非推奨)が最終的に削除されました(#26710)。
  • AWS 2 コーダー(AWS Sdk Pojos のスキーマサポートを追加したときに Beam v2.43.0 で非推奨)が最終的に削除されました(#23315)。

バグ修正

  • パス設定 jar を使用して、長いクラスパスが原因で Java ブートローダーが Too Long Args で失敗する問題を修正しました。(Java)(#25582)。

既知の問題

  • バッチ(バインド)モードで使用すると、PubsubIO 書き込みは 100 バイトを超えるメッセージに対して *SizeLimitExceededException* をスローします。(Java)(#27000)。
  • 長時間実行される Python パイプラインでメモリリークが発生する可能性があります:#28246

貢献者リスト

git shortlog によると、次の人々が 2.48.0 リリースに貢献しました。貢献者全員に感謝します。

Abzal Tuganbay

Ahmed Abualsaud

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrey Devyatkin

Balázs Németh

Bazyli Polednia

Bruno Volpato

Chamikara Jayalath

Clay Johnson

Damon

Daniel Arn

Danny McCormick

Darkhan Nausharipov

Dip Patel

Dmitry Repin

George Novitskiy

Israel Herraiz

Jack Dingilian

Jack McCluskey

Jan Lukavský

Jasper Van den Bossche

Jeff Zhang

Jeremy Edwards

Johanna Öjeling

John Casey

Katie Liu

Kenneth Knowles

Kerry Donny-Clark

Kuba Rauch

Liam Miller-Cushon

MakarkinSAkvelon

Mattie Fu

Michel Davit

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Pranav Bhandari

Pranjal Joshi

Rebecca Szper

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

RuiLong J

RyujiTamaki

Sam Whittle

Sanil Jain

Svetak Sundhar

Timur Sultanov

Tony Tang

Udi Meiri

Valentyn Tymofieiev

Vishal Bhise

Vitaly Terentyev

Xinyu Liu

Yi Hu

bullet03

darshan-sj

kellen

liferoad

mokamoka03210120

psolomin