ブログ & リリース
2023/05/31
Apache Beam 2.48.0
Beam の新しい 2.48.0 リリースを発表できることを嬉しく思います。このリリースには、改善点と新機能の両方が含まれています。このリリースの詳細については、ダウンロードページをご覧ください。
2.48.0 での変更の詳細については、詳細なリリースノートをご覧ください。
注:このリリースの Go SDK のリリースタグは、リリースタグ sdks/v2.48.0 に誤ったコミットが添付されていたため、sdks/v2.48.0 ではなく sdks/v2.48.2 です。
ハイライト
- 「Experimental」アノテーションのクリーンアップ:「まだ準備ができていない」という誤解を避けるために、アノテーションと概念が Beam から削除されました。提案された破壊的変更は、「Experimental」を使用してそれらを許可するのではなく、ケースバイケースの賛否両論の意思決定(そして一般的には回避される)の対象となります。
I/O
- GCS の名前変更とローカルファイルシステムのコピー(Go)を追加しました(#25779)。
- KinesisIO.Read での拡張ファンアウトのサポートを追加しました(Java)(#19967)。
- この変更は、KinesisIOソースを持っていた Beam 2.46.0 アプリケーションで作成された Flink セーブポイントと互換性がありません。
- textio.ReadWithFilename 変換(Go)を追加しました(#25812)。
- fileio.MatchContinuously 変換(Go)を追加しました(#26186)。
新機能/改善点
- google-cloud-profiler のサービス名の引き渡しを許可します(Python)(#26280)。
- Python で RunInference にデッドレターキューのサポートを追加しました(#24209)。
- RunInference 変換での前処理/後処理操作の定義のサポートを追加しました(#26308)
- ポータブル Beam 変換の検出と使用に使用できる Docker Compose ベースの変換サービスを追加します(#26023)。
破壊的変更
- Python SDK で MultiProcessShared にタグを渡すことが必須になりました(#26168)。
- Google Cloud Debugger サービスがシャットダウンするため、Dataflow ランナーの CloudDebuggerOptions は削除されました(Beam v2.47.0 で非推奨)。(Java)(#25959)。
- AWS 2 クライアントプロバイダー(Beam v2.38.0で非推奨)が最終的に削除されました(#26681)。
- AWS 2 SnsIO.writeAsync(データ損失のリスクのため、Beam v2.37.0 で非推奨)が最終的に削除されました(#26710)。
- AWS 2 コーダー(AWS Sdk Pojos のスキーマサポートを追加したときに Beam v2.43.0 で非推奨)が最終的に削除されました(#23315)。
バグ修正
- パス設定 jar を使用して、長いクラスパスが原因で Java ブートローダーが Too Long Args で失敗する問題を修正しました。(Java)(#25582)。
既知の問題
- バッチ(バインド)モードで使用すると、PubsubIO 書き込みは 100 バイトを超えるメッセージに対して *SizeLimitExceededException* をスローします。(Java)(#27000)。
- 長時間実行される Python パイプラインでメモリリークが発生する可能性があります:#28246。
貢献者リスト
git shortlog によると、次の人々が 2.48.0 リリースに貢献しました。貢献者全員に感謝します。
Abzal Tuganbay
Ahmed Abualsaud
Alexey Romanenko
Anand Inguva
Andrei Gurau
Andrey Devyatkin
Balázs Németh
Bazyli Polednia
Bruno Volpato
Chamikara Jayalath
Clay Johnson
Damon
Daniel Arn
Danny McCormick
Darkhan Nausharipov
Dip Patel
Dmitry Repin
George Novitskiy
Israel Herraiz
Jack Dingilian
Jack McCluskey
Jan Lukavský
Jasper Van den Bossche
Jeff Zhang
Jeremy Edwards
Johanna Öjeling
John Casey
Katie Liu
Kenneth Knowles
Kerry Donny-Clark
Kuba Rauch
Liam Miller-Cushon
MakarkinSAkvelon
Mattie Fu
Michel Davit
Moritz Mack
Nick Li
Oleh Borysevych
Pablo Estrada
Pranav Bhandari
Pranjal Joshi
Rebecca Szper
Reuven Lax
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Rouslan
RuiLong J
RyujiTamaki
Sam Whittle
Sanil Jain
Svetak Sundhar
Timur Sultanov
Tony Tang
Udi Meiri
Valentyn Tymofieiev
Vishal Bhise
Vitaly Terentyev
Xinyu Liu
Yi Hu
bullet03
darshan-sj
kellen
liferoad
mokamoka03210120
psolomin