Apache Beam 2.31.0

Beamの新しい2.31.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.31.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

I/O

  • RuntimeValueProviderがtable引数の値として使用されている場合のReadFromBigQueryのバグを修正しました(Python)(BEAM-12514)。

新機能/改善

  • CREATE FUNCTION DDLステートメントがCalcite SQL構文に追加されました。 JARAGGREGATEは予約語になりました。(BEAM-12339)。
  • FlinkランナーでFlink 1.13がサポートされるようになりました(BEAM-12277)。
  • DatastoreIO:書き込みおよび削除操作は、ベストプラクティスに従って自動的に段階的に増加するようになりました(Java/Python)(BEAM-12260BEAM-12272)。
  • Python TriggerFnに、データ損失の可能性を知らせる新しいmay_lose_dataメソッドが追加されました。デフォルトの動作は安全であると想定されます(後方互換性のために必要)。オーバーライドによる潜在的な影響については、「非推奨」を参照してください。(BEAM-9487)。

破壊的変更

  • PythonのRowオブジェクトは、フィールドの順序に依存するようになりました。そのため、Row(x=3, y=4)Row(y=4, x=3)と等しくなくなりました(BEAM-11929)。
  • Kafka Beam SQLテーブルは、LOCATIONフィールドに意味を割り当てるようになりました。以前は、指定されていても無視されていました。
  • TopCombineFnは、引数としてcompareを許可しなくなりました(Python)(BEAM-7372)。
  • Flink 1.10のサポートを終了しました(BEAM-12281)。

非推奨

  • Python GBKは、Beam 2.33でグローバルウィンドウとデフォルトトリガーを持つ非有界PCollectionのサポートを停止します。これは、--allow_unsafe_triggersでオーバーライドできます。(BEAM-9487)。
  • Python GBKは、Beam 2.33以降、安全なトリガーまたは--allow_unsafe_triggersフラグを必要とするようになります。(BEAM-9487)。

既知の問題

貢献者一覧

git shortlogによると、以下のユーザーが2.31.0リリースに貢献しました。すべての貢献者に感謝します!

Ahmet Altay、ajo thomas、Alan Myrvold、Alex Amato、Alexey Romanenko、AlikRodriguez、Anant Damle、Andrew Pilloud、Benjamin Gonzalez、Boyuan Zhang、Brian Hulette、Chamikara Jayalath、Daniel Oliveira、David Cavazos、David Huntsperger、David Moravek、Dmytro Kozhevin、dpcollins-google、Emily Ye、Ernesto Valentino、Evan Galpin、Fernando Morales、Heejong Lee、Ismaël Mejía、Jan Lukavský、Josias Rico、jrynd、Kenneth Knowles、Ke Wu、kileys、Kyle Weaver、masahitojp、Matthias Baetens、Maximilian Michels、Milena Bukal、Nathan J. Mehl、Pablo Estrada、Peter Sobot、Reuven Lax、Robert Bradshaw、Robert Burke、roger-mike、Sam Rohde、Sam Whittle、Stephan Hoyer、Tom Underhill、tvalentyn、Uday Singh、Udi Meiri、Vitaly Terentyev、Xinyu Liu、Yichi Zhang、Yifan Mai、yoshiki.obata、zhoufek