Apache Beam 2.32.0

Apache Beamの新しい2.32.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.32.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

I/O

  • statementとpreparedStatementSetterなしでJdbcIO.Write.withResultsを使用できるようになりました。(BEAM-12511)
  • FileIOを介してS3プロトコルを使用するためのURIスキームを登録できるようになりました。(BEAM-12435)。
  • SnowflakeWriteバッチモードで設定されたシャード数を尊重します。(BEAM-12715)
  • Java SDK:Google Cloud Healthcare IOコネクタをv1beta1からGAバージョンを使用するように更新しました。

新機能/改善点

  • JDBC LogicalTypes:`VARCHAR`、`NVARCHAR`、`LONGVARCHAR`、`LONGNVARCHAR`、`DATE`、`TIME` (Java)のBeamスキーマをAvroスキーマに変換するサポートを追加しました。(BEAM-12385)。
  • パーティションによるJDBCソースからの読み取り (Java) (BEAM-12456)。
  • PubsubIOは、解析エラー後にデッドレター トピックに書き込むことができるようになりました (Java)(BEAM-12474)。
  • Elasticsearchシンクの新しい追加専用オプション (Java) BEAM-12601

破壊的変更

  • Kinesisストリームのシャードを一覧表示するために、DescribeStreamの代わりにListShards (DescribeStreamSummaryを使用) が使用されます。この変更により、AWSドキュメントで述べられているように、きめ細かいIAMポリシーの場合、ListShardsおよびDescribeStreamSummary APIへの呼び出しを許可するように更新する必要があります。詳細については、Amazon Kinesis Data Streamsへのアクセスの制御を参照してください。(BEAM-12225)。

非推奨

  • Python GBKは、Beam 2.33でグローバルウィンドウイングとデフォルトトリガーを持つ非有界PCollectionのサポートを停止します。これは `--allow_unsafe_triggers` でオーバーライドできます。(BEAM-9487)。
  • Python GBKは、Beam 2.33以降、安全なトリガーまたは `--allow_unsafe_triggers` フラグを必須とするようになります。(BEAM-9487)。

バグ修正

  • 重複したackを引き起こすRabbitMqIOの競合状態を修正しました (Java) (BEAM-6516))

貢献者一覧

git shortlogによると、以下の皆様が2.32.0リリースに貢献されました。すべての貢献者に感謝します!

(省略:日本語の姓名順に翻訳すると、非常に長くなるため、原文のままとします。)