Beamの新しい2.16.0リリースを発表できることを嬉しく思います。このリリースには、機能強化と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.16.0での変更の詳細については、詳細なリリースノートをご覧ください。

ハイライト

• Python 2.7、3.5、3.6、3.7でBeamポータブルランナーによってリリースおよびサポートされている、カスタマイズ可能なDockerコンテナイメージ。（BEAM-7907）
• 自動スケーリング、ドレイン、更新、ストリーミングエンジン、カウンタ更新などのサービス機能を含む、DataflowでのPythonストリーミングの統合機能強化。

新機能/改善点

• BigQuery互換のHyperLogLog++実装に基づく新しいcount distinctトランスフォーム。（BEAM-7013）
• Google Cloud DataflowのPythonストリーミングジョブのトランスフォームに対するWeb UIグラフ表現における要素カウンタ。（BEAM-7045）
• Python SDKへのSetStateの追加。（BEAM-7741）
• Dataflow Runnerへのホットキー検出の追加。（BEAM-7820）
• gRPC JobServiceから送信されたジョブのリストを取得する機能の追加。（BEAM-7927）
• ポータブルFlinkパイプラインは、実行可能なjarファイルにバンドルできるようになりました。（BEAM-7966、BEAM-7967）
• SQL結合の選択は、PTransformへの展開ではなく、プランナーで行う必要があります。（BEAM-6114）
• ストリーミングでのファイルロードを使用したBigQueryのPythonシンク。（BEAM-6611）
• Python BigQueryシンクは、15TBのロードジョブクォータを処理できる必要があります。（BEAM-7588）
• Sparkポータブルランナー：SDKハーネスの再利用。（BEAM-7600）
• ロードジョブサイズ制限で適切に機能するBigQueryファイルロード。（BEAM-7742）
• コンテナ化されたワーカープールを使用した外部環境。（BEAM-7980）
• OffsetRestrictionTrackerの制限としてOffsetRangeを使用。（BEAM-8014）
• SDKワーカーDockerコンテナのログの取得。（BEAM-8015）
• Python SDKでPCollectionのバウンドネスが追跡され、伝播されます。（BEAM-8088）

依存関係の変更

• 「com.amazonaws:amazon-kinesis-producer」をバージョン0.13.1にアップグレード。（BEAM-7894）
• 更新されたTZDBを取得するためにjoda timeを2.10.3にアップグレード。（BEAM-8161）
• Jacksonをバージョン2.9.10にアップグレード。（BEAM-8299）
• grpcioの最小必要なバージョンを1.12.1にアップグレード。（BEAM-7986）
• Python2でfuncsigsの最小必要なバージョンを1.0.2にアップグレード。（BEAM-7060）
• google-cloud-pubsubの最大必要なバージョンを1.0.0にアップグレード。（BEAM-5539）
• google-cloud-bigtableの最大必要なバージョンを1.0.0にアップグレード。（BEAM-5539）
• dillのバージョンを0.3.0にアップグレード。（BEAM-8324）

バグ修正

• 様々なバグ修正とパフォーマンスの向上。

既知の問題

• Python 2は2020年1月1日にEOLに達するため、BeamのPython 2ユーザーは、Apache Beamの新しいリリースはまもなくPython 3のみをサポートするようになるという警告を受け取ります。
• FlinkRunnerでFileIO.writeを使用して正しく登録されていないファイルシステム。（BEAM-8303）
• ストリーミングモードでのJava DirectRunnerのパフォーマンスの低下。（BEAM-8363）
• macOS 10.15にPython SDKをインストールできません。（BEAM-8368）

貢献者一覧

git shortlogによると、以下の人々が2.16.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmet Altay, Alex Van Boxel, Alexey Romanenko, Alexey Strokach, Alireza Samadian, Andre-Philippe Paquet, Andrew Pilloud, Ankur Goenka, Anton Kedin, Aryan Naraghi, B M VISHWAS, Bartok Jozsef, Bill Neubauer, Boyuan Zhang, Brian Hulette, Bruno Volpato, Chad Dombrova, Chamikara Jayalath, Charith Ellawala, Charles Chen, Claire McGinty, Cyrus Maden, Daniel Oliveira, Dante, David Cavazos, David Moravek, David Yan, Dominic Mitchell, Elias Djurfeldt, Enrico Canzonieri, Etienne Chauchot, Gleb Kanterov, Hai Lu, Hannah Jiang, Heejong Lee, Ian Lance Taylor, Ismaël Mejía, Jack Whelpton, James Wen, Jan Lukavský, Jean-Baptiste Onofré, Jofre, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Jung, Kenneth Knowles, Kirill Kozlov, Kohki YAMAGIWA, Kyle Weaver, Kyle Winkelman, Ludovic Post, Luis Enrique Ortíz Ramirez, Luke Cwik, Mark Liu, Maximilian Michels, Michal Walenia, Mike Kaplinskiy, Mikhail Gryzykhin, NING KANG, Oliver Henlich, Pablo Estrada, Rakesh Kumar, Renat Nasyrov, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Skraba, Sahith Nallapareddy, Salman Raza, Sam Rohde, Saul Chavez, Shoaib, Shoaib Zafar, Slava Chernyak, Tanay Tummalapalli, Thinh Ha, Thomas Weise, Tianzi Cai, Tim van der Lippe, Tomer Zeltzer, Tudor Marian, Udi Meiri, Valentyn Tymofieiev, Yichi Zhang, Yifan Zou, Yueyang Qiu, gxercavins, jesusrv1103, lostluck, matt-darwin, mrociorg, ostrokach, parahul, rahul8383, rosetn, sunjincheng121, the1plummie, ttanay, tvalentyn, venn001, yoshiki.obata, Łukasz Gajowy