ブログ & リリース

2020/01/06

Apache Beam 2.17.0

Mikhail Gryzykhin

Beam の新しい 2.17.0 リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。MongoDbIO コネクタのユーザーは、セキュリティの脆弱性に対処するために、このリリースにアップグレードすることをお勧めします。

このリリースのダウンロードページをご覧ください。

2.17.0 の変更点の詳細については、詳細なリリースノートをご確認ください。

ハイライト

  • BEAM-7962 - Flink 1.5 および 1.6 のサポートを削除
  • BEAM-7635 - SnsIO を AWS SDK for Java 2 に移行
  • ポータブル Flink ランナーのユーザビリティの向上
    • BEAM-8183 - オプションで複数のパイプラインを単一の Flink jar にバンドル。
    • BEAM-8372 - Flink UberJar を Flink クラスタに直接送信できるようにします。
    • BEAM-8471 - ポータブルパイプライン用の Flink ネイティブジョブ送信。
    • BEAM-8312 - Flink ポータブルパイプライン jar は、アーティファクトをリモートでステージングする必要がなくなりました。

新機能 / 改善

  • BEAM-7730 - Flink 1.9 ビルドターゲットを追加し、FlinkRunner を Flink 1.9 と互換性を持たせる。
  • BEAM-7990 - parquet ファイルを pyarrow.Table の PCollection に読み込む機能を追加。
  • BEAM-8355 - BooleanCoder を標準コーダーにする。
  • BEAM-8394 - JdbcIO.ReadRows クラスに withDataSourceConfiguration() メソッドを追加。
  • BEAM-5428 - クロスバンドル状態キャッシュを実装。
  • BEAM-5967 - ProtoCoder での DynamicMessage の処理を追加。
  • BEAM-7473 - Python 内の RestrictionTracker をスレッドセーフにする必要がないように更新。
  • BEAM-7920 - AvroTableProvider を Beam SQL に追加。
  • BEAM-8098 - BigQueryIO のドキュメントを改善。
  • BEAM-8100 - Java SDK の Json 変換に例外処理を追加。
  • BEAM-8306 - ElasticsearchIO でのソースからのデータバイトサイズの推定を改善。
  • BEAM-8351 - 外部環境構成を介して任意の KV ペアを sdk ワーカーに渡すことをサポート。
  • BEAM-8396 - ローカル flink (spark, …) ランナーのデフォルトを LOOPBACK モードにする。
  • BEAM-8410 - JdbcIO は、DataSource で setConnectionInitSqls をサポートする必要があります。
  • BEAM-8609 - Java 変換カタログに HllCount を追加。
  • BEAM-8861 - ElasticsearchIO でのデフォルトで自己署名証明書を許可しない。

依存関係の変更

  • BEAM-8285 - ZetaSQL を 2019.09.1 にアップグレード。
  • BEAM-8392 - pyarrow のバージョン範囲をアップグレード: 0.15.1<= から <0.16.0.
  • BEAM-5895 - com.rabbitmq:amqp-client を 5.7.3 にアップグレード。
  • BEAM-6896 - PyYAML のバージョン範囲をアップグレード: 3.12<= から <6.0.0。

バグ修正

  • [BEAM-8819] - SpecificRecords の AvroCoder が 2.13.0 以降正しくシリアル化されない
  • さまざまなバグ修正とパフォーマンスの改善。

既知の問題

  • BEAM-8989 Apache Nemo ランナーが 2.16.0 以降の下位互換性のない変更のために破損。

貢献者リスト

git shortlog によると、以下の人々が 2.17.0 リリースに貢献しました。すべての貢献者に感謝します!

Ahmet Altay、Alan Myrvold、Alexey Romanenko、Andre-Philippe Paquet、Andrew Pilloud、angulartist、Ankit Jhalaria、Ankur Goenka、Anton Kedin、Aryan Naraghi、Aurélien Geron、B M VISHWAS、Bartok Jozsef、Boyuan Zhang、Brian Hulette、Cerny Ondrej、Chad Dombrova、Chamikara Jayalath、ChethanU、cmach、Colm O hEigeartaigh、Cyrus Maden、Daniel Oliveira、Daniel Robert、Dante、David Cavazos、David Moravek、David Yan、Enrico Canzonieri、Etienne Chauchot、gxercavins、Hai Lu、Hannah Jiang、Ian Lance Taylor、Ismaël Mejía、Israel Herraiz、James Wen、Jan Lukavský、Jean-Baptiste Onofré、Jeff Klukas、jesusrv1103、Jofre、Kai Jiang、Kamil Wasilewski、Kasia Kucharczyk、Kenneth Knowles、Kirill Kozlov、kirillkozlov、Kohki YAMAGIWA、Kyle Weaver、Leonardo Alves Miguel、lloigor、lostluck、Luis Enrique Ortíz Ramirez、Luke Cwik、Mark Liu、Maximilian Michels、Michal Walenia、Mikhail Gryzykhin、mrociorg、Nicolas Delsaux、Ning Kang、NING KANG、Pablo Estrada、pabloem、Piotr Szczepanik、rahul8383、Rakesh Kumar、Renat Nasyrov、Reuven Lax、Robert Bradshaw、Robert Burke、Rui Wang、Ruslan Altynnikov、Ryan Skraba、Salman Raza、Saul Chavez、Sebastian Jambor、sunjincheng121、Tatu Saloranta、tchiarato、Thomas Weise、Tomo Suzuki、Tudor Marian、tvalentyn、Udi Meiri、Valentyn Tymofieiev、Viola Lyu、Vishwas、Yichi Zhang、Yifan Zou、Yueyang Qiu、Łukasz Gajowy