ブログ & リリース

2023/03/10

Apache Beam 2.46.0

Danny McCormick

Beamの新しい2.46.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.46.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

  • Java SDKコンテナのベースとしてEclipse Temurinに移行しました。この変更により、非推奨のOpenJDKコンテナから移行します。Eclipse Temurinは現在Ubuntu 22.04に基づいていますが、OpenJDKコンテナはDebian 11に基づいていました。
  • RunInference PTransformは、Python SDKでモデルパスをSideInputsとして受け入れるようになります。(#24042)
  • RunInferenceは、Python SDKでONNXランタイムをサポートします。(#22972)
  • Python SDKでのRunInference用のTensorflowモデルハンドラー(#25366)
  • Java SDKモジュールが:sdks:java:extensions:avroを使用するように移行されました。(#24748)

I/O

  • JmsIOに、失敗したパブリケーションのリトライポリシーを追加しました（Java）。(#24971).
  • Python SDKに、テキストファイルのLZMA圧縮/解凍のサポートを追加しました。(#25316)
  • ReadFrom/WriteTo Csv/Jsonをトップレベルの変換としてPython SDKに追加しました。

新機能/改善

  • SamzaポータブルモードのUDFメトリクスのサポートを追加します。
  • SDF出力がメモリに収まる必要性を回避するためのSparkRunnerのオプション(#23852)。これは、たとえばParquetIOの読み取りに役立ちます。実験use_bounded_concurrent_output_for_sdfを追加して、機能をオンにします。
  • WatchFilePattern変換を追加します。これは、ファイルパターンを使用してモデルの更新を監視するために、RunInference PTransfromのサイド入力として使用できます。(#24042)
  • PytorchModelHandlerでTorchScriptモデルをロードするためのサポートを追加します。TorchScriptモデルパスは、torch_script_model_path=<path_to_model>を使用してPytorchModelHandlerに渡すことができます。(#25321)
  • Go SDKはビルドにGo 1.19を必要とするようになりました。(#25545)
  • Go SDKに、Prismと呼ばれるポータブルなBeam Runnerの最初のネイティブGo実装が追加されました。(#24789)

破壊的な変更

  • Spark 2の非推奨のSparkRunner（2.41.0を参照）が削除されました。(#25263)
  • PythonのBatchElementsは、場合によってはより積極的なバッチ処理を実行し、デフォルトでは1秒ではなく10秒でバッチ処理を上限とし、固定コストが1秒よりも大きい場合をより適切に処理するために、この計算で固定コストを除外します。古い動作を取得するには、BatchElementsにtarget_batch_duration_secs_including_fixed_cost=1を渡すことができます。

非推奨

  • Avro関連のクラスはモジュールbeam-sdks-java-coreで非推奨となり、最終的には削除されます。代わりに、org.apache.beam.sdk.extensions.avroパッケージからクラスをインポートして、新しいモジュールbeam-sdks-java-extensions-avroに移行してください。移行を簡単にするために、新しいモジュールのAvro関連クラスの相対パッケージパスとクラス階層全体は、以前と同じように保持されます。たとえば、org.apache.beam.sdk.coders.AvroCoderの代わりにorg.apache.beam.sdk.extensions.avro.coders.AvroCoderクラスをインポートします。(#24749).

貢献者リスト

git shortlogによると、次の人々が2.46.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmet Altay

Alan Zhang

Alexey Romanenko

Amrane Ait Zeouay

Anand Inguva

Andrew Pilloud

Brian Hulette

Bruno Volpato

Byron Ellis

Chamikara Jayalath

Damon

Danny McCormick

Darkhan Nausharipov

David Katz

Dmitry Repin

Doug Judd

Egbert van der Wal

Elizaveta Lomteva

Evan Galpin

Herman Mak

Jack McCluskey

Jan Lukavský

Johanna Öjeling

John Casey

Jozef Vilcek

Junhao Liu

Juta Staes

Katie Liu

Kiley Sok

Liam Miller-Cushon

Luke Cwik

Moritz Mack

Ning Kang

Oleh Borysevych

Pablo E

Pablo Estrada

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ruslan Altynnikov

Ryan Zhang

Sam Rohde

Sam Whittle

Sam sam

Sergei Lilichenko

Shivam

Shubham Krishna

Theodore Ni

Timur Sultanov

Tony Tang

Vachan

Veronica Wasson

Vincent Devillers

Vitaly Terentyev

William Ross Morrow

Xinyu Liu

Yi Hu

ZhengLin Li

Ziqi Ma

ahmedabu98

alexeyinkin

aliftadvantage

bullet03

dannikay

darshan-sj

dependabot[bot]

johnjcasey

kamrankoupayi

kileys

liferoad

nancyxu123

nickuncaged1201

pablo rodriguez defino

tvalentyn

xqhu