ブログ & リリース

2021/06/09

Apache Beam 2.30.0

Heejong Lee

Beamの新しい2.30.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.30.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

  • レガシーRead変換（非SDFベースのRead）は、非FnAPIオープンソースランナーではデフォルトで使用されます。 use_sdf_read 実験的フラグを使用して、SDFベースのRead変換を再度有効にします（BEAM-10670）
  • ベンダー提供のgRPC依存関係を1.36.0にアップグレードしました（BEAM-11227）

I/O

  • バッチファイルのロードでWriteToBigQueryを使用する場合、複数のロードジョブが存在するときにスキーマ更新オプションが尊重されない問題を修正しました（BEAM-11277）
  • ストリーミング挿入を実行するときにBigQueryシンクがHttpErrorsを抑制するため、ジョブが適切に再試行されない問題を修正しました（BEAM-12362）

新機能/改善

  • JavaおよびPython SDKでリソースヒントを宣言する機能を追加しました（BEAM-2085）
  • Python SDKに読み取りと書き込みのSpanner IOパフォーマンステストを追加しました（BEAM-10029）
  • Python SDKでGCP PubSubメッセージの順序付けキー、メッセージID、メッセージ公開タイムスタンプにアクセスするためのサポートを追加しました（BEAM-7819）
  • DataFrame API：インタラクティブBeamでDataFrameオブジェクトを収集するためのサポートを追加しました（BEAM-11855）
  • DataFrame API：apache_beam.examples.dataframe モジュールを追加しました（BEAM-12024）
  • GCP Libraries BOMバージョンを20.0.0にアップグレードしました（BEAM-11205）。 このBOMで設定されているGoogle Cloudクライアントライブラリのバージョンについては、この表をご覧ください
  • 最終的にworkerHarnessContainerImageを置き換えるためのsdkContainerImageフラグを追加しました（BEAM-12212）
  • スキーマが使用されている場合のDataflow更新のサポートを追加しました（BEAM-12198）
  • ZipFiles.zipDirectoryがネイティブJVMメモリをリークする問題を修正しました（BEAM-12220）
  • Reshuffle.withNumBucketsが(N*2)-1個のバケットを作成する問題を修正しました（BEAM-12361）

破壊的変更

  • Flink 1.8および1.9のサポートを削除しました（BEAM-11948）
  • MongoDbIO：Read.withFilter（）とRead.withProjection（）は、Beam 2.12.0以降非推奨になっているため削除されました（BEAM-12217）
  • RedisIO.readAll（）は、Beam 2.13.0以降非推奨になっているため削除されました。同等の機能にはRedisIO.readKeyPatterns（）を使用してください（BEAM-12214）
  • Beam 2.13.0以降非推奨だったため、clientIdコンストラクタを使用したMqttIO.create（）が削除されました（BEAM-12216）

既知の問題

貢献者一覧

git shortlogによると、以下のユーザーが2.30.0リリースに貢献しました。すべての貢献者に感謝します！

（日本語訳不要：人名リスト）