Beam の新しい 2.20.0 リリースを発表できることを嬉しく思います。このリリースには、改善と新しい機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.20.0 の変更点の詳細については、詳細なリリースノートをご確認ください。

I/O

Python SDK: 。(#10223)。

• BEAM-8561 ThriftIO を介した Thrift エンコードされたデータのサポートを追加
• BEAM-7310 KafkaIO が Confluent Schema Registry を使用したスキーマ解決をサポート
• BEAM-7246 Google Cloud Spanner のサポート。これは、Google Cloud Spanner からのデータの読み取りと書き込みを行うための実験的モジュールです。
• BEAM-8399 標準の HDFS URL (サーバー名付き) のサポートを追加

新機能/改善

• BEAM-9146 GCP Video Intelligence 機能を統合する新しい AnnotateVideo および AnnotateVideoWithContext PTransform を追加
• BEAM-9247 Google Cloud Vision API を使用した要素単位およびバッチ画像アノテーションのための新しい AnnotateImage および AnnotateImageWithContext PTransform を追加
• BEAM-9258 Google Cloud DLP を使用したテキストの検査と非識別化のための PTransform を追加
• BEAM-9248 Google Cloud Natural Language 機能を統合する新しい AnnotateText PTransform を追加
• BEAM-9305 ReadFromBigQuery がクエリ文字列の値プロバイダーをサポートするようになりました
• BEAM-8841 Avro ファイルロードを介した BigQuery への書き込み機能を追加
• BEAM-9228 FnApi 用のダイレクトランナーが、さらなる並列処理をサポート
• BEAM-8550 Flink および Spark での @RequiresTimeSortedInput のサポート
• BEAM-6857 動的タイマーのサポートを追加

破壊的変更

• BEAM-3453 Python での ReadFromPubSub(topic=) の後方互換性のない変更
• BEAM-9310 Java の SpannerAccessor が、API サーフェスを減らすためにパッケージプライベートになりました
• BEAM-8616 ParquetIO の hadoop 依存関係は、ユーザーが提供する必要があるようになりました
• BEAM-9063 Docker イメージは 2.20 から apache/beam リポジトリにデプロイされます

バグ修正

• BEAM-9579 ApproximateQuantiles の numpy 演算子を修正
• BEAM-9277 IPython Notebook で実行した場合の例外を修正
• BEAM-1833 ランナー API により適合するように Python パイプラインの構築を再構築
• BEAM-9225 Flink uberjar ジョブの終了バグを修正
• BEAM-9503 プロセスワーカーの起動時の SyntaxError を修正
• さまざまなバグ修正とパフォーマンスの向上。

既知の問題

• BEAM-9322 Python SDK が手動で設定された PCollection タグを無視する
• BEAM-9445 Python SDK の pre_optimize=all 実験がエラーを引き起こす可能性がある
• BEAM-9725 リシャッフル変換の Python SDK のパフォーマンスの低下

貢献者リスト

git shortlog によると、次の人々が 2.20.0 リリースに貢献しました。貢献者の皆様、ありがとうございました！

Ahmet Altay、Alex Amato、Alexey Romanenko、Andrew Pilloud、Ankur Goenka、Anton Kedin、Boyuan Zhang、Brian Hulette、Brian Martin、Chamikara Jayalath、Charles Chen、Craig Chambers、Daniel Oliveira、David Moravek、David Rieber、Dustin Rhodes、Etienne Chauchot、Gleb Kanterov、Hai Lu、Heejong Lee、Ismaël Mejía、J Ross Thomson、Jan Lukavský、Jason Kuster、Jean-Baptiste Onofré、Jeff Klukas、João Cabrita、Juan Rael、Juta、Kasia Kucharczyk、Kengo Seki、Kenneth Jung、Kenneth Knowles、Kyle Weaver、Kyle Winkelman、Lukas Drbal、Marek Simunek、Mark Liu、Maximilian Michels、Melissa Pashniak、Michael Luckey、Michal Walenia、Mike Pedersen、Mikhail Gryzykhin、Niel Markwick、Pablo Estrada、Pascal Gula、Rehman Murad Ali、Reuven Lax、Rob、Robbe Sneyders、Robert Bradshaw、Robert Burke、Rui Wang、Ruoyun Huang、Ryan Williams、Sam Rohde、Sam Whittle、Scott Wegner、Shoaib Zafar、Thomas Weise、Tianyang Hu、Tyler Akidau、Udi Meiri、Valentyn Tymofieiev、Xinyu Liu、XuMingmin、ttanay、tvalentyn、Łukasz Gajowy