Beamの新しい2.29.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.29.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

• Spark ClassicランナーとPortableランナーがSpark 3を正式にサポートするようになりました（BEAM-7093）。
• ほとんどのランナー（Dataflow、Flink、Spark）でJava 11が正式にサポートされるようになりました（BEAM-2530）。
• DataFrame APIがGroupBy.applyをサポートするようになりました（BEAM-11628）。

I/O

• AWS SDK V2（Java）でS3ファイルシステムのサポートが追加されました（BEAM-7637）
• GCP BigQueryシンク（ファイルロード）は、非有界データに対してランナーによって決定されるシャーディングを使用します（BEAM-11772）
• KafkaIOは、レコードの書き込み時に`partition`プロパティを認識するようになりました（BEAM-11806）
• ParquetIOでのHadoop構成のサポート（BEAM-11913）

新機能/改善

• DataFrame APIがpandas 1.2.xをサポートするようになりました（BEAM-11531）。
• DataFrame APIの複数のバグ修正（BEAM-12071、BEAM-11929）
• SQL変換でDDLがサポートされるようになりました（BEAM-11850）
• FlinkランナーをFlinkバージョン1.12.2にアップグレードしました（BEAM-11941）

破壊的変更

• GroupByKeyおよびStateful DoFnsに対して決定論的なコーディングが適用されました。以前は非決定論的なコーディングが許可されていたため、場合によってはキーが適切にグループ化されないことがありました。（BEAM-11719）以前の動作に戻すには、`beam.coders.registry.register_fallback_coder(beam.coders.coders.FakeDeterministicFastPrimitivesCoder())`で`FakeDeterministicFastPrimitivesCoder`を登録するか、`allow_non_deterministic_key_coders`パイプラインオプションを使用します。

非推奨

• Flink 1.8および1.9のサポートは、次のリリース（2.30.0）で削除されます（BEAM-11948）。

既知の問題

• このバージョンに影響を与える未解決の問題の完全なリストをご覧ください。

貢献者一覧

`git shortlog`によると、以下のユーザーが2.29.0リリースに貢献しました。すべての貢献者に感謝します！

Ahmet Altay, Alan Myrvold, Alex Amato, Alexander Chermenin, Alexey Romanenko, Allen Pradeep Xavier, Amy Wu, Anant Damle, Andreas Bergmeier, Andrei Balici, Andrew Pilloud, Andy Xu, Ankur Goenka, Bashir Sadjad, Benjamin Gonzalez, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Chinmoy Mandayam, Chuck Yang, dandy10, Daniel Collins, Daniel Oliveira, David Cavazos, David Huntsperger, David Moravek, Dmytro Kozhevin, Emily Ye, Esun Kim, Evgeniy Belousov, Filip Popić, Fokko Driesprong, Gris Cuevas, Heejong Lee, Ihor Indyk, Ismaël Mejía, Jakub-Sadowski, Jan Lukavský, John Edmonds, Juan Sandoval, 谷口恵輔, Kenneth Jung, Kenneth Knowles, KevinGG, Kiley Sok, Kyle Weaver, MabelYC, Mackenzie Clark, Masato Nakamura, Milena Bukal, Miltos, Minbo Bae, Miraç Vuslat Başaran, mynameborat, Nahian-Al Hasan, Nam Bui, Niel Markwick, Niels Basjes, Ning Kang, Nir Gazit, Pablo Estrada, Ramazan Yapparov, Raphael Sanamyan, Reuven Lax, Rion Williams, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Shehzaad Nakhoda, Shehzaad Nakhoda, Siyuan Chen, Sonam Ramchand, Steve Niemitz, sychen, Sylvain Veyrié, Tim Robertson, Tobias Kaymak, Tomasz Szerszeń, Tomasz Szerszeń, Tomo Suzuki, Tyson Hamilton, Udi Meiri, Valentyn Tymofieiev, Yichi Zhang, Yifan Mai, Yixing Zhang, Yoshiki Obata