Apache Beam 2.49.0

Beam の新しい 2.49.0 リリースを発表いたします。このリリースには、改善と新機能の両方が含まれています。このリリースの ダウンロードページ をご覧ください。

2.49.0 の変更に関する詳細情報については、詳細なリリースノート をご覧ください。

I/O

  • Java BigtableIO.ReadChangeStream に Bigtable 変更ストリームのサポートが追加されました (#27183).
  • Bigtable の読み取りと書き込みのクロス言語変換が Python SDK に追加されました ((#26593), (#27146)).

新機能 / 改善

  • tensorflowtorch に依存するイメージなど、--prebuild_sdk_container_engine=cloud_build を使用するときに、大規模イメージを事前に構築できるようになりました (#27023).
  • ワーカーにパッケージをインストールするときに pip キャッシュを無効にしました。これにより、事前に構築された Python コンテナイメージのサイズが小さくなりました (#27035).
  • 専用の Avro データムリーダーとライターを選択しました (Java) (#18874).
  • Go SDK のタイマー API (Go) (#22737).

廃止

  • Python 3.7 のサポートを削除しました (#26447).

バグ修正

  • リーダーが開始される前に進捗状況チェックが行われると発生する KinesisIO の NullPointerException を修正しました (IO) (#23868)

既知の問題

  • 長期間実行される Python パイプラインでメモリーリークが発生する場合があります #28246.
  • Python SDK のクロス言語 Bigtable シンクは、明示的なタイムスタンプが設定されていないレコードを正しく処理できません #28632。この問題を回避するには、ビッグテーブルに書き込む前にすべてのレコードに明示的なタイムスタンプを設定します。
  • --impersonate_service_account オプションを BigQuery I/O と共に使用する Python パイプラインが Dataflow で失敗する場合があります (#32030)。2.59.0 リリースで修正されました。

コントリビューターのリスト

git shortlog によると、次のメンバーが 2.49.0 リリースに貢献しました。貢献者の皆様、ありがとうございます!

Abzal Tuganbay

AdalbertMemSQL

Ahmed Abualsaud

Ahmet Altay

Alan Zhang

Alexey Romanenko

Anand Inguva

Andrei Gurau

Arwin Tio

Bartosz Zablocki

Bruno Volpato

Burke Davison

Byron Ellis

Chamikara Jayalath

Charles Rothrock

Chris Gavin

Claire McGinty

Clay Johnson

Damon

Daniel Dopierała

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dip Patel

Dmitry Repin

Gavin McDonald

Jack Dingilian

Jack McCluskey

James Fricker

Jan Lukavský

Jasper Van den Bossche

John Casey

John Gill

Joseph Crowley

Kanishk Karanawat

Katie Liu

Kenneth Knowles

Kyle Galloway

Liam Miller-Cushon

MakarkinSAkvelon

Masato Nakamura

Mattie Fu

Michel Davit

Naireen Hussain

Nathaniel Young

Nelson Osacky

Nick Li

Oleh Borysevych

Pablo Estrada

Reeba Qureshi

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

Saadat Su

Sam Rohde

Sam Whittle

Sanil Jain

Shunping Huang

Smeet nagda

Svetak Sundhar

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Vlado Djerek

WuA

XQ Hu

Xianhua Liu

Xinyu Liu

イー・フー

Zachary Houfek

alexeyinkin

bigduu

bullet03

bzablocki

jonathan-lemos

jubebo

magicgoody

ruslan-ikhsan

sultanalieva-s

vitaly.terentyev