ブログ & リリース

2023/10/11

Apache Beam 2.51.0

Kenneth Knowles [@KennKnowles]

Beamの新しい2.51.0リリースを発表できることを嬉しく思います。このリリースには、改良と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.51.0の変更に関する詳細については、詳細なリリースノートをご覧ください。

新機能/改良点

  • Pythonでは、RunInferenceは、KeyedModelHandlerを使用して、同じ変換で多くのモデルのロードをサポートするようになりました（#27628）。
  • Pythonでは、VertexAIModelHandlerJSONは、inference_argsの受け渡しをサポートするようになりました。これらはパラメータとしてVertexエンドポイントに渡されます。
  • ユーザーパイプラインでmypyを実行するためのサポートを追加しました（#27906）

破壊的変更

  • Beam SQLのfastjsonライブラリの依存関係を削除しました。テーブルプロパティはjackson ObjectNode（Java）に基づいて変更されました（#24154）。
  • Beam PythonコンテナイメージからTensorFlowを削除しました PR。この変更によって悪影響を受けた場合は、#20605にコメントしてください。
  • parquetio.Writeからパラメータt reflect.Typeを削除しました。要素型は入力PCollectionから派生します（Go）（#28490）
  • BeamSqlSeekableTable.setUpをリファクタリングし、パラメータjoinSubsetTypeを追加しました。#28283

バグ修正

  • GCSコネクタの例外チェーンの問題を修正しました（Python）（#26769）。
  • ストリーミング挿入の例外処理を修正しました。GoogleAPICallErrorsは、リトライ戦略に従ってリトライされ、適切な場所に失敗した行にルーティングされるようになりました。パイプラインエラーを引き起こすことはありません（Python）（#21080）。
  • Python SDKのクロス言語Bigtableシンクにおける、明示的なタイムスタンプが設定されていないレコードを誤って処理していたバグを修正しました：#28632。

セキュリティ修正

既知の問題

  • BigQuery Storage Read APIを使用するPythonパイプラインでは、fastavroの依存関係を1.8.3以前のバージョンに固定する必要があります。#28811

貢献者一覧

git shortlogによると、以下の人々が2.50.0リリースに貢献しました。すべての貢献者に感謝します！

Adam Whitmore

Ahmed Abualsaud

Ahmet Altay

Aleksandr Dudko

Alexey Romanenko

Anand Inguva

Andrey Devyatkin

Arvind Ram

Arwin Tio

BjornPrime

Bruno Volpato

Bulat

Celeste Zeng

Chamikara Jayalath

Clay Johnson

Damon

Danny McCormick

David Cavazos

Dip Patel

Hai Joey Tran

Hao Xu

Haruka Abe

Jack Dingilian

Jack McCluskey

Jeff Kinard

Jeffrey Kinard

Joey Tran

Johanna Öjeling

Julien Tournay

Kenneth Knowles

Kerry Donny-Clark

Mattie Fu

Melissa Pashniak

Michel Davit

Moritz Mack

Pranav Bhandari

Rebecca Szper

Reeba Qureshi

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ruwann

Ryan Tam

Sam Rohde

Sereana Seim

Svetak Sundhar

Tim Grein

Udi Meiri

Valentyn Tymofieiev

Vitaly Terentyev

Vlado Djerek

Xinyu Liu

Yi Hu

Zbynek Konecny

Zechen Jiang

bzablocki

caneff

dependabot[bot]

gDuperran

gabry.wu

johnjcasey

kberezin-nshl

kennknowles

liferoad

lostluck

magicgoody

martin trieu

mosche

olalamichelle

tvalentyn

xqhu

Łukasz Spyra