Beamの新しい2.43.0リリースを発表できることを嬉しく思います。このリリースには、改良と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.43.0の変更の詳細については、詳細なリリースノートをご覧ください。

ハイライト

• Apache BeamでのPython 3.10サポート (#21458).
• BeamパイプラインをDask上で実行できるランナーの初期実装を試してみてください。フィードバックをお寄せください！（Python）(#18962).

I/O

• TextSourceのCPU使用率を2.3倍削減 (Java) (#23193).
• RuntimeValueProviderオプションを使用する際にSpannerIOで発生するバグを修正 (Java) (#22146).
• WriteToBigQueryでのユニコードレンダリングの問題を修正 (#22312)
• BigQueryの読み込みと書き込みの廃止されたバリアントを削除し、常にBeamネイティブのバリアントを使用 (#23564 および #23559).
• Python SDKのgoogle-cloud-spanner依存関係のバージョンを3.xに更新 (#21198).

新機能/改良

• Go SDKにクロス言語を介してデータフレームラッパーを追加（自動拡張サービス付き）。(Go) (#23384).
• デバッグを容易にするために、すべてのJavaスレッドに名前を付ける (#23049).
• BeamパイプラインをDask上で実行できるランナーの初期実装。(Python) (#18962).
• パイプラインオプションを介してGCP OAuthスコープを設定できるようにしました。これにより、追加のスコープを必要とするBeam I/Oの使用がブロックされなくなります。たとえば、この機能により、BigQueryでGoogleドライブをバックエンドとするテーブルにアクセスできるようになります(#23290).
• JavaからPython RunInferenceを使用するための例 (#23290).

破壊的変更

• Python SDKのCoGroupByKey変換で出力型ヒントが変更されました。グループ化された値を表す型ヒントコンポーネントがListからIterableに変更され、任意の大きさの出力コレクションの本質をより正確に反映するようになりました。#21556 Beamユーザーは、CoGroupByKeyの下流の変換でエラーが発生する可能性があります。ユーザーは、Listを期待するメソッドをIterableを期待するように変更する必要があります。情報と修正については、ドキュメントを参照してください。
• SparkのPortableRunnerは、--spark_versionを使用して別途構成されていない限り、デフォルトのSparkメジャーバージョンとしてSpark 3を想定します。Spark 2のサポートは非推奨であり、すぐに削除されます(#23728).

バグ修正

• Pythonクロス言語JDBC I/OコネクタがNumeric/Decimal型の値を含む行を読み書きできない問題を修正 (#19817).

コントリビューター一覧

git shortlogによると、以下の人々が2.43.0リリースに貢献しました。すべてのコントリビューターに感謝します！

Ahmed Abualsaud AlexZMLyu Alexey Romanenko Anand Inguva Andrew Pilloud Andy Ye Arnout Engelen Benjamin Gonzalez Bharath Kumarasubramanian BjornPrime Brian Hulette Bruno Volpato Chamikara Jayalath Colin Versteeg Damon Daniel Smilkov Daniela Martín Danny McCormick Darkhan Nausharipov David Huntsperger Denis Pyshev Dmitry Repin Evan Galpin Evgeny Antyshev Fernando Morales Geddy05 Harshit Mehrotra Iñigo San Jose Visiers Ismaël Mejía Israel Herraiz Jan Lukavský Juta Staes Kanishk Karanawat Kenneth Knowles KevinGG Kiley Sok Liam Miller-Cushon Luke Cwik Mc Melissa Pashniak Moritz Mack Ning Kang Pablo Estrada Philippe Moussalli Pranav Bhandari Rebecca Szper Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Ryohei Nagao Sam Rohde Sam Whittle Sanil Jain Seunghwan Hong Shane Hansen Shubham Krishna Shunsuke Otani Steve Niemitz Steven van Rossum Svetak Sundhar Thiago Nunes Toran Sahu Veronica Wasson Vitaly Terentyev Vladislav Chunikhin Xinyu Liu Yi Hu Yixiao Shen alexeyinkin arne-alex azhurkevich bulat safiullin bullet03 coldWater dpcollins-google egalpin johnjcasey liferoad rvballada shaojwu tvalentyn