Beamの新しい2.40.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.40.0の変更点の詳細については、詳細なリリースノートをご覧ください。

ハイライト

• フレームワークに依存しない推論用変換であるRunInference APIを追加しました。このリリースでは、PyTorchとScikit-learnが変換によってサポートされています。 apache_beam/examples/inference/pytorch_image_classification.pyの例も参照してください。

I/O

• HCatalogIO用にHive 3.1.3にアップグレードしました。ユーザーは引き続き独自のバージョンのHiveを提供できます。(Java) (Issue-19554)。

新機能/改善

• Go SDKユーザーは、汎用登録関数を使用してDoFnの実行を最適化できるようになりました。(BEAM-14347)
• Go SDKユーザーは、ストリーミングソースから読み取るために、自己チェックポイントを行う分割可能なDoFnを記述できるようになりました。(BEAM-11104)
• Go SDK textioの読み取りは、分割可能なDoFnのみに移動されました。(BEAM-14489)
• Go SDKに追加されたパイプラインドレインのサポートがテストされました。(BEAM-11106)
• Go SDKユーザーは、ワーカーのステータスでヒープの使用量、サイド入力キャッシュの統計情報、およびアクティブなプロセスバンドルの統計情報を表示できるようになりました。(BEAM-13829)
• Pythonのシリアライゼーション（ピクルス）ライブラリはdill==0.3.1.1です(BEAM-11167)

破壊的変更

• Go SDKでは、ジェネリクスをサポートするために最低バージョン1.18が必要になりました(BEAM-14347)。
• synthetic.SourceConfigのフィールドタイプは、スキーマでFlinkの論理タイプの使用との互換性を向上させるために、intからint64に変更されました(Go) (BEAM-14173)
• BoundedSourceAsSDFWrapperFnおよびUnboundedSourceAsSDFWrapperで使用されるソースを圧縮するために、デフォルトのコーダーが更新されました。

バグ修正

• 特定のファイルをステージングできるようにJava拡張サービスを修正しました(BEAM-14160)。
• sslとユーザー名/パスワードの両方を使用する場合のElasticsearch接続を修正しました(Java) (BEAM-14000)

既知の問題

• Pythonのbeam.FlatMapは、sumやlenなど、一部の組み込み関数で構築すると、AttributeError: 'builtin_function_or_method' object has no attribute '__func__'を発生させます(#22091)。
• Javaの`BigQueryIO.Write`は、最大タイムスタンプ範囲を超えるタイムスタンプを出力しようとした場合に例外が発生する可能性があります `Cannot output with timestamp 294247-01-10T04:00:54.776Z. Output timestamps must be no earlier than the timestamp of the current input or timer (294247-01-10T04:00:54.776Z) minus the allowed skew (0 milliseconds) and no later than 294247-01-10T04:00:54.775Z. See the DoFn#getAllowedTimestampSkew() Javadoc for details on changing the allowed skew.` これは、シンクがアイドル状態であり、アイドルタイムアウトがトリガーされた場合、または動的デスティネーションを使用している場合に特定のテーブルが十分に長い時間アイドル状態であった場合に発生します。これが発生すると、ジョブをドレインできなくなります。これは2.41リリースで修正されました。

貢献者一覧

git shortlogによると、以下のユーザーが2.40.0リリースに貢献しました。すべての貢献者に感謝します！

（貢献者一覧の名前は省略）