ブログ & リリース

2021/02/22

Apache Beam 2.28.0

Chamikara Jayalath

Apache Beam の新しいリリース 2.28.0 を発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。2.28.0 の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

I/O

  • SpannerIO は Numeric フィールドに BigDecimal を使用することをサポート (BEAM-11643)
  • ParquetIO に Beam スキーマサポートを追加 (BEAM-11526)
  • ParquetTable Writer をサポート (BEAM-8202)
  • GCP BigQuery シンク (ストリーミング挿入) はランナーが決定したシャーディングを使用 (BEAM-11408)
  • PubSub サポートタイプ：TIMESTAMP、DATE、TIME、DATETIME (BEAM-11533)

新機能/改善

  • ParquetIO に追加されたメソッド *readGenericRecords* と *readFilesGenericRecords* は、スキーマが不明なファイルを読み取ることができます。PR-13554 と (BEAM-11460) を参照してください。
  • KafkaTableProvider に thrift のサポートを追加 (BEAM-11482)
  • HadoopFormatIO がキー/値のクローンをスキップするようサポートを追加 (BEAM-11457)
  • Convert.to 変換で GenericRecords への変換をサポート (BEAM-11571)。
  • Beam SQL で Parquet テーブルへの書き込みをサポート (BEAM-8202)。
  • スキーマが不明な Parquet ファイルの読み取りをサポート (BEAM-11460)
  • ParquetIO 用のユーザー設定可能な Hadoop 設定フラグをサポート (BEAM-11527)
  • ReadFromKafka に commit_offset_in_finalize と timestamp_policy を公開 (BEAM-11677)
  • FlinkRunner と Beam ワーカープールコンテナを使用している場合、S3 オプションが boto3 クライアントに提供されない (BEAM-11799)
  • HDFS が同一の構成パスを重複排除しない (BEAM-11329)
  • BeamSQL のハッシュ関数 (BEAM-10074)
  • HLL実装を使用したApproximateDistinctの作成 (BEAM-10324)
  • ParquetIO に Beam スキーマサポートを追加 (BEAM-11526)
  • Deque エンコーダーを追加 (BEAM-11538)
  • ZetaSQL のハッシュ関数 (BEAM-11624)
  • ParquetTableProvider のリファクタリング ()
  • JavaJobServer に JVM プロパティを追加 (BEAM-8344)
  • サポートされている Flink バージョンの単一の情報源 ()
  • Python BigQuery ストリーミング挿入 API 待ち時間ログにメトリックを使用 (BEAM-11018)
  • Java BigQuery ストリーミング挿入 API 待ち時間ログにメトリックを使用 (BEAM-11032)
  • Flink ランナーを Flink バージョン 1.12.1 および 1.11.3 にアップグレード (BEAM-11697)
  • Beam ベースイメージを Tensorflow 2.4.1 を使用するようにアップグレード (BEAM-11762)
  • Beam GCP BOM を作成 (BEAM-11665)

破壊的変更

  • Java アーティファクト "beam-sdks-java-io-kinesis"、 "beam-sdks-java-io-google-cloud-platform"、 "beam-sdks-java-extensions-sql-zetasql" は Guava 30.1-jre 依存関係を宣言します (Beam 2.27.0 では 25.1-jre でした)。この新しい Guava バージョンは、プロジェクトまたは依存関係が削除された API に依存している場合、依存関係の競合を引き起こす可能性があります。影響を受ける場合は、Maven で *dependencyManagement* を使用し、Gradle で *force* を使用して適切な Guava バージョンを使用してください。

貢献者一覧

git shortlog によると、以下のユーザーが 2.28.0 リリースに貢献しています。すべての貢献者に感謝します!

Ahmet Altay, Alex Amato, Alexey Romanenko, Allen Pradeep Xavier, Anant Damle, Artur Khanin, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Chris Roth, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Cavazos, David Huntsperger, Elliotte Rusty Harold, Emily Ye, Etienne Chauchot, Etta Rapp, Evan Palmer, Eyal, Filip Krakowski, Fokko Driesprong, Heejong Lee, Ismaël Mejía, janeliulwq, Jan Lukavský, John Edmonds, Jozef Vilcek, Kenneth Knowles Ke Wu, kileys, Kyle Weaver, MabelYC, masahitojp, Masato Nakamura, Milena Bukal, Miraç Vuslat Başaran, Nelson Osacky, Niel Markwick, Ning Kang, omarismail94, Pablo Estrada, Piotr Szuberski, ramazan-yapparov, Reuven Lax, Reza Rokni, rHermes, Robert Bradshaw, Robert Burke, Robert Gruener, Romster, Rui Wang, Sam Whittle, shehzaadn-vd, Siyuan Chen, Sonam Ramchand, Tobiasz Kędzierski, Tomo Suzuki, tszerszen, tvalentyn, Tyson Hamilton, Udi Meiri, Xinbin Huang, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu, Yusaku Matsuki