ブログとリリース

2022/05/25

Apache Beam 2.39.0

Yichi Zhang

Beamの新しい2.39.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.39.0の変更点の詳細については、詳細なリリースノートをご覧ください。

I/O

  • JmsIOは、あらゆる種類の入力を`javax.jms.Message`（Java）の任意のサブクラスにマッピングできるようになりました（BEAM-16308）。
  • JmsIOは、動的トピック（Java）に書き込む機能を導入しました（BEAM-16308）。
    • 入力値からトピック名を抽出するには、`topicNameMapper`を設定する必要があります。
    • 入力値をJMSメッセージに変換するには、`valueMapper`を設定する必要があります。
  • BigqueryIO StreamingInsertsによって生成されるスレッド数を削減しました（BEAM-14283）。
  • Apache PulsarIOを実装しました（BEAM-8218）。

新機能/改善点

  • ほとんどのライブラリがバージョン2.12以降をサポートしているため、flink scala 2.12のサポートが追加されました。（beam-14386）
  • Interactive Beam（Python）によって管理されるDataprocクラスタの使用方法を設定するために、「クラスタの管理」JupyterLab拡張機能が追加されました（BEAM-14130）。
  • Go SDKにパイプラインドレインのサポートが追加されました（BEAM-11106）。**注：この機能はまだ完全に検証されておらず、このリリースでは実験的なものとして扱う必要があります。**
  • DataFrame APIに`DataFrame.unstack()`、`DataFrame.pivot()`、`Series.unstack()`が実装されました（BEAM-13948、BEAM-13966）。
  • JavaおよびPython SDKのdataflowランナーに偽装資格情報のサポートが追加されました（BEAM-14014）。
  • Dataprocクラスタを管理するためのJupyterlab拡張機能が実装されました（BEAM-14130）。
  • JavaからPython変換を簡単に呼び出すためのExternalPythonTransform APIが追加されました（BEAM-14143）。
  • Elasticsearch 8.xのサポートが追加されました（BEAM-14003）。
  • シャード対応Kinesisレコード集約（AWS Sdk v2）（BEAM-14104）。
  • ZetaSQL 2022.04.1にアップグレードしました（BEAM-14348）。
  • ReadFromBigQueryがインタラクティブランナーで使用できない問題を修正しました（BEAM-14112）。

破壊的変更

  • 未使用の関数`ShallowCloneParDoPayload()`、`ShallowCloneSideInput()`、`ShallowCloneFunctionSpec()`がGo SDKのpipelinexパッケージから削除されました（BEAM-13739）。
  • JmsIOでは、明示的な`valueMapper`を設定する必要があります（BEAM-16308）。`TextMessageMapper`を使用して、`String`入力をJMS `TestMessage`に変換できます。
  JmsIO.<String>write()
        .withConnectionFactory(jmsConnectionFactory)
        .withValueMapper(new TextMessageMapper());
  • PythonのコーダーはCoderから継承する必要があります。（BEAM-14351）。
  • Python SDKのio.filesystem.FileSystemに新しい抽象メソッド`metadata()`が追加されました。（BEAM-14314）

非推奨

  • Flink 1.11はサポートされなくなりました（BEAM-14139）。
  • Python 3.6はサポートされなくなりました（BEAM-13657）。

バグ修正

  • テンプレート実行（Java）でProjectIDが指定されていない場合のJava Spanner IO NPEを修正しました（BEAM-14405）。
  • BigQueryServicesImpl.getErrorInfo（Java）の潜在的なNPEを修正しました（BEAM-14133）。

既知の問題

貢献者一覧

git shortlogによると、以下のユーザーが2.39.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmed Abualsaud、Ahmet Altay、Aizhamal Nurmamat kyzy、Alexander Zhuravlev、Alexey Romanenko、Anand Inguva、Andrei Gurau、Andrew Pilloud、Andy Ye、Arun Pandian、Arwin Tio、Aydar Farrakhov、Aydar Zainutdinov、AydarZaynutdinov、Balázs Németh、Benjamin Gonzalez、Brian Hulette、Buqian Zheng、Chamikara Jayalath、Chun Yang、Daniel Oliveira、Daniela Martín、Danny McCormick、David Huntsperger、Deepak Nagaraj、Denise Case、Esun Kim、Etienne Chauchot、Evan Galpin、Hector Miuler Malpica Gallegos、Heejong Lee、Hengfeng Li、Ilango Rajagopal、Ilion Beyst、Israel Herraiz、Jack McCluskey、Kamil Bregula、Kamil Breguła、Ke Wu、Kenneth Knowles、KevinGG、Kiley、Kiley Sok、Kyle Weaver、Liam Miller-Cushon、Luke Cwik、Marco Robles、Matt Casters、Michael Li、MiguelAnzoWizeline、Milan Patel、Minbo Bae、Moritz Mack、Nick Caballero、Niel Markiewicz、Ning Kang、Oskar Firlej、Pablo Estrada、Pavel Avilov、Reuven Lax、Reza Rokni、Ritesh Ghorse、Robert Bradshaw、Robert Burke、Ryan Thompson、Sam Whittle、Steven Niemitz、Thiago Nunes、Tomo Suzuki、Valentyn Tymofieiev、Victor、Yi Hu、Yichi Zhang、Yiru Tang、ahmedabu98、andoni-guzman、brachipa、bulat safiullin、bullet03、dannymartinm、daria.malkova、dpcollins-google、egalpin、emily、fbeevikm、johnjcasey、kileys、msbukal@google.com、nguyennk92、pablo rodriguez defino、rszper、rvballada、sachinag、tvalentyn、vachan-shetty、yirutang