Beamの新しい2.14.0リリースを発表できることを嬉しく思います。このリリースには、機能強化と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.14.0の変更の詳細については、詳細なリリースノートをご覧ください。

ハイライト

• Python 3のサポートがPython 3.6および3.7に拡張されました。その他様々なPython 3の改良も含まれています。
• Sparkポータブルランナー（バッチ）が、Java、Python、Goで利用可能になりました。
• 新しいランナーを追加：Hazelcast Jet Runner。（BEAM-7305）

I/O

• BigQuery読み込みにスキーマサポートを追加。（Java）（BEAM-6673）
• JDBCソースにスキーマサポートを追加。（Java）（BEAM-6674）
• bytesに対するBigQueryサポートを修正。（Python 3）（BEAM-6769）
• DynamoDB IOを追加。（Java）（BEAM-7043）
• HCatalogIOでの無制限読み込みのサポートを追加。（Java）（BEAM-7450）
• SDF用のBoundedSourceラッパーを追加。（Python）（BEAM-7443）
• RedisIOでINCRBY/DECRBY操作のサポートを追加。（BEAM-7286）
• ファイルロードによるWriteToBigQueryに、ValueProviderで定義されたGCSロケーションのサポートを追加。（Java）（BEAM-7603）

新機能/改良点

• Python SDKにDoFnのsetupおよびteardownメソッドのサポートを追加。（BEAM-562）
• Python SDKに新しいトランスフォームを追加：ApproximateUnique、Latest、Reify、ToString、WithKeys。
• ワーカーでのユーザー定義JVM初期化のためのフックを追加。（BEAM-6872）
• BigQueryTableのSQL行推定のサポートを追加。（BEAM-7513）
• FlinkRunnerでのストリーミングシンクの自動シャーディング。（BEAM-5865）
• 外部ソーターからHadoop依存関係を削除。（BEAM-7268）
• ポータブルSDKワーカー環境の有効期限を設定するオプションを追加。（BEAM-7348）
• BeamはGuavaを再配置しなくなり、独自のベンダー版Guavaのみに依存するようになりました。（BEAM-6620）

破壊的変更

• Jdbc IOのset/getClientConfigurationを非推奨化。（BEAM-7263）

バグ修正

• 連結された圧縮ファイルの読み取りを修正。（Python）（BEAM-6952）
• Flink 1.6以降のバージョンのリスケーリングの問題を修正。（BEAM-7144）
• SQL EXCEPT DISTINCTの動作を修正。（BEAM-7194）
• Flinkランナーのバウンド読み込みにおけるOOMの問題を修正。（BEAM-7442）
• ディレクトリの照合を正しく行うようにHdfsFileSystemを修正。（BEAM-7561）
• SparkランナーをSparkバージョン2.4.3を使用するようにアップグレード。（BEAM-7265）
• Jacksonをバージョン2.9.9にアップグレード。（BEAM-7465）
• その他様々なバグ修正とパフォーマンスの向上。

既知の問題

• このリリースでは、Python MongoDBソースを**使用しないでください**。このリリースに追加されたPython MongoDBソース(追加)には、データ損失につながる可能性のある既知の問題があります。（BEAM-7866）を参照してください。
• macOS 10.15にPython SDKをインストールできません。（BEAM-8368）を参照してください。

コントリビューター一覧

git shortlogによると、以下の人々が2.14.0リリースに貢献しました。すべてのコントリビューターに感謝します！

Ahmet Altay, Aizhamal Nurmamat kyzy, Ajo Thomas, Alex Amato, Alexey Romanenko, Alexey Strokach, Alex Van Boxel, Alireza Samadian, Andrew Pilloud, Ankit Jhalaria, Ankur Goenka, Anton Kedin, Aryan Naraghi, Bartok Jozsef, Bora Kaplan, Boyuan Zhang, Brian Hulette, Cam Mach, Chamikara Jayalath, Charith Ellawala, Charles Chen, Colm O hEigeartaigh, Cyrus Maden, Daniel Mills, Daniel Oliveira, David Cavazos, David Moravek, David Yan, Daniel Lescohier, Elwin Arens, Etienne Chauchot, Fábio Franco Uechi, Finch Keung, Frederik Bode, Gregory Kovelman, Graham Polley, Hai Lu, Hannah Jiang, Harshit Dwivedi, Harsh Vardhan, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Jan Lukavský, Jean-Baptiste Onofré, Jozef Vilcek, Juta, Kai Jiang, Kamil Wu, Kasia Kucharczyk, Kenneth Knowles, Kyle Weaver, Lara Schmidt, Łukasz Gajowy, Luke Cwik, Manu Zhang, Mark Liu, Matthias Baetens, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mikhail Gryzykhin, Ming Liang, Neville Li, Pablo Estrada, Paul Suganthan, Peter Backx, Rakesh Kumar, Rasmi Elasmar, Reuven Lax, Reza Rokni, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rose Nguyen, Rui Wang, Ruoyun Huang, Shoaib Zafar, Slava Chernyak, Steve Niemitz, Tanay Tummalapalli, Thomas Weise, Tim Robertson, Tim van der Lippe, Udi Meiri, Valentyn Tymofieiev, Varun Dhussa, Viktor Gerdin, Yichi Zhang, Yifan Mai, Yifan Zou, Yueyang Qiu。