Beamの新しい2.11.0リリースを発表できて嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.11.0の変更点の詳細については、詳細なリリースノートをご確認ください。

ハイライト

依存関係のアップグレード/変更

• Java: antlr: 4.7
• Java: antlr_runtime: 4.7
• Java: bigdataoss_gcsio: 1.9.16
• Java: bigdataoss_util: 1.9.16
• Java: bigtable_client_core: 1.8.0
• Java: cassandra-driver-core: 3.6.0
• Java: cassandra-driver-mapping: 3.6.0
• Java: commons-compress: 1.18
• Java: gax_grpc: 1.38.0
• Java: google_api_common: 1.7.0
• Java: google_api_services_dataflow: v1b3-rev20190126-1.27.0
• Java: google_cloud_bigquery_storage: 0.79.0-alpha
• Java: google_cloud_bigquery_storage_proto: 0.44.0
• Java: google_auth_library_credentials: 0.12.0
• Java: google_auth_library_oauth2_http: 0.12.0
• Java: google_cloud_core: 1.61.0
• Java: google_cloud_core_grpc: 1.61.0
• Java: google_cloud_spanner: 1.6.0
• Java: grpc_all: 1.17.1
• Java: grpc_auth: 1.17.1
• Java: grpc_core: 1.17.1
• Java: grpc_google_cloud_pubsub_v1: 1.17.1
• Java: grpc_protobuf: 1.17.1
• Java: grpc_protobuf_lite: 1.17.1
• Java: grpc_netty: 1.17.1
• Java: grpc_stub: 1.17.1
• Java: netty_handler: 4.1.30.Final
• Java: netty_tcnative_boringssl_static: 2.0.17.Final
• Java: netty_transport_native_epoll: 4.1.30.Final
• Java: proto_google_cloud_spanner_admin_database_v1: 1.6.0
• Java: zstd_jni: 1.3.8-3
• Python: futures>=3.2.0,<4.0.0; python_version < “3.0”
• Python: pyvcf>=0.6.8,<0.7.0; python_version < “3.0”
• Python: google-apitools>=0.5.26,<0.5.27
• Python: google-cloud-core==0.28.1
• Python: google-cloud-bigtable==0.31.1

I/O

• クロスランゲージ変換を実行するためのポータブルFlinkランナーのサポート。
• GCSコピーへのCloud KMSサポートの追加。
• KafkaIO.read()へのoffsetConsumerのパラメータの追加。
• ParquetIO書き込みでの圧縮コーデックの設定を許可。
• BigQuery変換にkms_keyを追加し、Dataflowに渡します。

新機能/改善

• DirectRunnerおよびDataflowRunnerのPython 3（実験的）サポート。
• Java SDKへのZStandard圧縮サポートの追加。
• Python：Javaと同様のCombineFn.compactを追加。
• SparkRunner：マージしないウィンドウ用に最適化されたGroupByKey。
• SparkRunner：Sparkソースの分割を制御するためのbundleSizeパラメーターを追加。
• FlinkRunner：ポータブルランナーのセーブポイント/アップグレードのサポート。

バグ修正

• さまざまなバグ修正とパフォーマンスの改善。

非推奨

• Mongoドライバーで非推奨になったため、MongoDb withKeepAlive を非推奨にします。

貢献者リスト

git shortlogによると、次の人々が2.11.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmet Altay, Alex Amato. Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Brian Martin, Chamikara Jayalath, Charles Chen, Craig Chambers, Daniel Oliveira, David Moravek, David Rieber, Dustin Rhodes, Etienne Chauchot, Gleb Kanterov, Hai Lu, Heejong Lee, Ismaël Mejía, J Ross Thomson, Jan Lukavsky, Jason Kuster, Jean-Baptiste Onofré, Jeff Klukas, João Cabrita, Juan Rael, Juta Staes, Kasia Kucharczyk, Kengo Seki, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Kyle Winkelman, Lukas Drbal, Marek Simunek, Mark Liu, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Pedersen, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Pascal Gula, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Sam Rohde, Sam Whittle, Scott Wegner, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, Tyler Akidau, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Xu Mingmin, Łukasz Gajowy.