Python 変換カタログの概要

要素ごと

変換説明
エンリッチメントリモートサービスを使用してデータエンリッチメントを実行します。
フィルタ述語が指定された場合、述語を満たさないすべての要素を除外します。
FlatMapコレクションを返す関数を入力の各要素に適用し、結果のすべての要素を出力します。
キーキーと値のペアのコレクションの各要素からキーを抽出します。
KvSwapキーと値のペアのコレクションの各要素のキーと値を入れ替えます。
マップ関数を入力の各要素に適用し、結果を出力します。
MLTransformデータセットにデータ処理変換を適用します。
ParDoユーザー定義の `DoFn` を入力コレクションのすべての要素に適用するための最も一般的なメカニズムです。
Partition何らかの分割関数に基づいて、各入力要素を特定の出力コレクションにルーティングします。
正規表現正規表現に基づいて入力文字列要素をフィルタリングします。一致するグループに基づいて変換することもできます。
具体化さまざまなBeam値の明示的な形式と暗黙的な形式の間で変換するための変換。
RunInference機械学習（ML）モデルを使用して、ローカルおよびリモート推論を実行します。
文字列化入力コレクションのすべての要素を文字列に変換します。
タイムスタンプ付き出力コレクションの各要素にタイムスタンプを決定する関数を適用し、各入力に関連付けられた暗黙的なタイムスタンプを更新します。タイムスタンプは前方調整のみ安全です。
値キーと値のペアのコレクションの各要素から値を抽出します。

集計

変換説明
近似分位数分布が与えられた場合、おおよそのNタイルを見つけます。
近似ユニーク数pcollectionが与えられた場合、推定ユニーク要素数を返します。
要素のバッチ化償却処理のために要素をバッチ化する変換。
CoGroupByKeyキー付き要素の複数のコレクションを取得し、各要素がキーと、そのキーに関連付けられたすべての値で構成されるコレクションを生成します。
全体結合要素を結合するための変換。
キーごとの結合各キーの要素を結合するための変換。
値の結合キー付き反復可能オブジェクトを結合するための変換。
カウント各集計内の要素の数をカウントします。
重複除去入力コレクションから個別の要素を含むコレクションを生成します。
GroupByKeyキー付き要素のコレクションを取得し、各要素がキーと、そのキーに関連付けられたすべての値で構成されるコレクションを生成します。
グループ化要素のコレクションを取得し、それらの要素のプロパティによってグループ化されたコレクションを生成します。 GroupByKeyとは異なり、キーは要素自体から動的に作成されます。
バッチへのグループ化入力を目的のバッチサイズにバッチ化します。
最新最新のタイムスタンプを持つ要素を取得します。
最大各集計内で最大値を持つ要素を取得します。
平均各集計内の平均値を計算します。
最小各集計内で最小値を持つ要素を取得します。
サンプリング各集計からいくつかの要素をランダムに選択します。
合計各集計内のすべての要素を合計します。
リスト化すべての要素を単一のリストに集約します。
上位各集計内で最大の要素を計算します。

その他

変換説明
作成メモリ内リストからコレクションを作成します。
Flatten複数の入力コレクションが与えられた場合、すべての入力コレクションのすべての要素を含む単一の出力コレクションを生成します。
再シャッフル入力コレクションが与えられた場合、ワーカー間で要素を再配布します。これは、並列性を調整したり、結合された障害を防ぐのに最も役立ちます。
ウィンドウ分割関数に従って、コレクションの要素を論理的に分割またはグループ化して有限ウィンドウにします。