ブログとリリース
2021/08/25
Apache Beam 2.32.0
Ankur Goenka
Apache Beamの新しい2.32.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。
2.32.0の変更点の詳細については、詳細なリリースノートをご覧ください。
ハイライト
- Beam DataFrame APIは、もはや実験的ではありません!2.26.0プレビュー発表以来、最も頻繁に使用されるpandas操作の実装(BEAM-9547)、ドキュメントとエラーメッセージの改善、例の追加、DataFrameとインタラクティブBeamの統合、そしてもちろんバグの発見と修正に時間を費やしてきました。実験的ではなくなったということは、APIに高い信頼を置いており、本番ワークロードでの使用を推奨していることを意味します。皆様からのフィードバックを参考に、APIの改善を続けていきます。
I/O
- statementとpreparedStatementSetterなしでJdbcIO.Write.withResultsを使用できるようになりました。(BEAM-12511)
- FileIOを介してS3プロトコルを使用するためのURIスキームを登録できるようになりました。(BEAM-12435)。
- SnowflakeWriteバッチモードで設定されたシャード数を尊重します。(BEAM-12715)
- Java SDK:Google Cloud Healthcare IOコネクタをv1beta1からGAバージョンを使用するように更新しました。
新機能/改善点
- JDBC LogicalTypes:`VARCHAR`、`NVARCHAR`、`LONGVARCHAR`、`LONGNVARCHAR`、`DATE`、`TIME` (Java)のBeamスキーマをAvroスキーマに変換するサポートを追加しました。(BEAM-12385)。
- パーティションによるJDBCソースからの読み取り (Java) (BEAM-12456)。
- PubsubIOは、解析エラー後にデッドレター トピックに書き込むことができるようになりました (Java)(BEAM-12474)。
- Elasticsearchシンクの新しい追加専用オプション (Java) BEAM-12601
破壊的変更
- Kinesisストリームのシャードを一覧表示するために、DescribeStreamの代わりにListShards (DescribeStreamSummaryを使用) が使用されます。この変更により、AWSドキュメントで述べられているように、きめ細かいIAMポリシーの場合、ListShardsおよびDescribeStreamSummary APIへの呼び出しを許可するように更新する必要があります。詳細については、Amazon Kinesis Data Streamsへのアクセスの制御を参照してください。(BEAM-12225)。
非推奨
- Python GBKは、Beam 2.33でグローバルウィンドウイングとデフォルトトリガーを持つ非有界PCollectionのサポートを停止します。これは `--allow_unsafe_triggers` でオーバーライドできます。(BEAM-9487)。
- Python GBKは、Beam 2.33以降、安全なトリガーまたは `--allow_unsafe_triggers` フラグを必須とするようになります。(BEAM-9487)。
バグ修正
- 重複したackを引き起こすRabbitMqIOの競合状態を修正しました (Java) (BEAM-6516))
貢献者一覧
git shortlogによると、以下の皆様が2.32.0リリースに貢献されました。すべての貢献者に感謝します!
(省略:日本語の姓名順に翻訳すると、非常に長くなるため、原文のままとします。)
ブログの最新情報
(省略:個々のブログ記事のタイトルと著者は、必要に応じて個別に翻訳できます。)