ブログ & リリース
2023/01/17
Apache Beam 2.44.0
Beamの新しい2.44.0リリースを発表できることを嬉しく思います。このリリースには、改善点と新しい機能の両方が含まれています。このリリースのダウンロードページを参照してください。
2.44.0の変更点の詳細については、詳細なリリースノートをご覧ください。
I/O
- Bigtableシンク(WriteおよびWriteBatch)のサポートが追加されました(Go)(#23324)。
- BeamファイルシステムのS3実装(Go)(#23991)。
- SingleStoreDBソースとシンクのサポートが追加されました(Java)(#22617)。
- AzureファイルシステムでDefaultAzureCredential認証のサポートが追加されました(Python)(#24210)。
- CDAPバッチおよびストリーミングソース/シンク用の新しいCdapIOが追加されました(Java)(#24961)。
- Sparkレシーバー2.4.*用の新しいSparkReceiverIOが追加されました(Java)(#24960)。
新機能/改善点
- Beamは、graphvizでパイプライングラフをレンダリングできるポータブルな「ランナー」を提供するようになりました。詳細については、
python -m apache_beam.runners.render --help
を参照してください。 - ローカルパッケージをrequirements.txtファイル内の依存関係として使用できるようになりました。
--extra_package
オプションを介して別途渡す必要はありません(Python)(#23684)。 - パイプラインリソースヒントが
--resource_hints
フラグを介してサポートされるようになりました(Go)(#23990)。 - 依存関係を一時的なvenvにインストールすることにより、ポータブルランナーでPython SDKコンテナーを再利用可能にします(BEAM-12792)。
- RunInferenceモデルハンドラーがPythonでのカスタム推論関数の指定をサポートするようになりました(#22572)
map_windows
urnのサポートがGo SDKに追加されました(#24307)。
破壊的な変更
- 分割可能な読み取りが2.35.0からデフォルトの動作になっているため、
ParquetIO.withSplit
が削除されました。この変更の効果は、分割不可能な読み取りのサポートを削除することです(Java)(#23832)。 beam-sdks-java-extensions-google-cloud-platform-core
は、Java SDKハーネスの依存関係ではなくなりました。ポータブルランナー(Dataflow Runner v2など)の一部のユーザーは、このパッケージに未宣言の依存関係を持っている可能性があり(たとえば、TextIOでGCSを使用するなど)、依存関係を宣言する必要があります。beam-sdks-java-core
は、Java SDKハーネスの依存関係ではなくなりました。ポータブルランナー(Dataflow Runner v2など)のユーザーは、このパッケージとその依存関係を提供する必要があります。- スライスは、Beam Iterable Coderを使用するようになりました。これにより、クロス言語での使用が可能になりますが、スライスタイプがPCollection要素またはState API要素として使用されている場合、パイプラインの更新が中断されます。(Go)#24339
バグ修正
- JmsIO確認応答の問題が修正されました(Java)(#20814)
- Beam SQL CalciteUtils(Java)およびクロス言語JdbcIO(Python)がJDBC CHAR/VARCHAR、BINARY/VARBINARY論理型をサポートしていなかった問題を修正しました(#23747、#23526)。
- 反復された型と放出された型が、型およびスキーマレジストリに登録された汎用登録パッケージで使用されるようにします。(Go)(#23889)
貢献者リスト
git shortlogによると、以下の人々が2.44.0リリースに貢献しました。すべての貢献者に感謝します!
Ahmed Abualsaud
Ahmet Altay
Alex Merose
Alexey Inkin
Alexey Romanenko
Anand Inguva
Andrei Gurau
Andrej Galad
Andrew Pilloud
Ayush Sharma
Benjamin Gonzalez
Bjorn Pedersen
Brian Hulette
Bruno Volpato
Bulat Safiullin
Chamikara Jayalath
Chris Gavin
Damon Douglas
Danielle Syse
Danny McCormick
Darkhan Nausharipov
David Cavazos
Dmitry Repin
Doug Judd
Elias Segundo Antonio
Evan Galpin
Evgeny Antyshev
Heejong Lee
Henrik Heggelund-Berg
Israel Herraiz
Jack McCluskey
Jan Lukavský
Janek Bevendorff
Johanna Öjeling
John J. Casey
Jozef Vilcek
Kanishk Karanawat
Kenneth Knowles
Kiley Sok
Laksh
Liam Miller-Cushon
Luke Cwik
MakarkinSAkvelon
Minbo Bae
Moritz Mack
Nancy Xu
Ning Kang
Nivaldo Tokuda
Oleh Borysevych
Pablo Estrada
Philippe Moussalli
Pranav Bhandari
Rebecca Szper
Reuven Lax
Rick Smit
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Ryan Thompson
Sam Whittle
Sanil Jain
Scott Strong
Shubham Krishna
Steven van Rossum
Svetak Sundhar
Thiago Nunes
Tianyang Hu
Trevor Gevers
Valentyn Tymofieiev
Vitaly Terentyev
Vladislav Chunikhin
Xinyu Liu
Yi Hu
Yichi Zhang
AdalbertMemSQL
agvdndor
andremissaglia
arne-alex
bullet03
camphillips22
capthiron
creste
fab-jul
illoise
kn1kn1
nancyxu123
peridotml
shinannegans
smeet07