Apache Beam の新しい 2.27.0 リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページを参照してください。2.27.0 の変更の詳細については、詳細なリリースノートを確認してください。

ハイライト

• Java 11 コンテナがすべての Beam リリースで公開されるようになりました。
• パイプラインの実行時に BigQuery からデータを読み取るための複数のリクエストを受け取ることができる新しい変換 `ReadAllFromBigQuery` があります。PR 13170、およびBEAM-9650を参照してください。

I/O

• ReadFromMongoDB が MongoDB Atlas (Python) で使用できるようになりました (BEAM-11266)。
• ReadFromMongoDB/WriteToMongoDB は display_data でパスワードをマスクします (Python) (BEAM-11444)。
• パイプラインの実行時に BigQuery からデータを読み取るための複数のリクエストを受け取ることができる新しい変換 `ReadAllFromBigQuery` があります。PR 13170、およびBEAM-9650を参照してください。

新機能/改善点

• Hadoop に依存する Beam モジュールが Hadoop 3 との互換性についてテストされるようになりました (BEAM-8569)。(Hive/HCatalog は保留中)
• Apache Beam リリースプロセスの一部として、Java 11 SDK コンテナイメージの公開がサポートされるようになりました。(BEAM-8106)
• Cloud Bigtable プロバイダー拡張機能を Beam SQL に追加しました (BEAM-11173、BEAM-11373)
• Thrift データ用のスキーマプロバイダーを追加しました (BEAM-11338)
• Dataflow ランナーにコンバイナーパッキングパイプラインの最適化を追加しました。(BEAM-10641)
• Apache Kafka から Google Pub/Sub にデータを取り込む例を追加しました。(BEAM-11065)

破壊的な変更

• HBaseIO の hbase-shaded-client 依存関係は、ユーザーが提供する必要があります (BEAM-9278)。
• amazon-web-services2 の `--region` フラグが `--awsRegion` に置き換えられました (BEAM-11331)。

貢献者リスト

git shortlog によると、次の人々が 2.27.0 リリースに貢献しました。すべての貢献者に感謝します。

Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Aliraza Nagamia, Allen Pradeep Xavier, Andrew Pilloud, andreyKaparulin, Ashwin Ramaswami, Boyuan Zhang, Brent Worden, Brian Hulette, Carlos Marin, Chamikara Jayalath, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Huntsperger, David Lu, David Moravek, David Wrede, dennis, Dennis Yung, dpcollins-google, Emily Ye, emkornfield, Esun Kim, Etienne Chauchot, Eugene Nikolaiev, Frank Zhao, Haizhou Zhao, Hector Acosta, Heejong Lee, Ilya, Iñigo San Jose Visiers, InigoSJ, Ismaël Mejía, janeliulwq, Jan Lukavský, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, lostluck, Matt Casters, Maximilian Michels, Michal Walenia, Mike Dewar, nehsyc, Nelson Osacky, Niels Basjes, Ning Kang, Pablo Estrada, palmere-google, Pawel Pasterz, Piotr Szuberski, purbanow, Reuven Lax, rHermes, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Siyuan Chen, Tim Robertson, Tobiasz Kędzierski, tszerszen, Valentyn Tymofieiev, Tyson Hamilton, Udi Meiri, vachan-shetty, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu