始めましょう
ドキュメント
ナビゲーションの切り替え
ナビゲーションの切り替え
概要
始めましょう
ドキュメント
一般
言語
ランナー
I/Oコネクタ
ロードマップ
コミュニティ
貢献
ブログ
導入事例
Apache
ASFホームページ
ライセンス
セキュリティ
謝辞
スポンサー
行動規範
概要
始めましょう
ドキュメント
一般
言語
ランナー
I/Oコネクタ
ロードマップ
コミュニティ
貢献
ブログ
導入事例
Apache
ASFホームページ
ライセンス
セキュリティ
謝辞
スポンサー
行動規範
ドキュメント
ドキュメントの使い方
概念
Beamモデルの基本
Beamがパイプラインを実行する方法
Beamプログラミングガイド
概要
パイプライン
PCollection
PCollectionの作成
PCollectionの特性
変換
変換の適用
コアBeam変換
ParDo
GroupByKey
CoGroupByKey
Combine
Flatten
Partition
ユーザーコードの要件
サイド入力
追加の出力
複合変換
パイプラインI/O
I/O変換の使用
I/Oコネクタ
I/Oコネクタガイド
Apache Parquet I/Oコネクタ
Hadoop入出力形式I/O
HCatalog IO
Google BigQuery I/Oコネクタ
Snowflake I/Oコネクタ
CDAP I/Oコネクタ
Spark Receiver I/Oコネクタ
SingleStoreDB I/Oコネクタ
Web API I/Oコネクタ
新しいI/Oコネクタの開発
概要:コネクタの開発
コネクタの開発(Java)
コネクタの開発(Python)
I/O標準
I/O変換のテスト
スキーマ
スキーマとは
プログラミング言語の型のためのスキーマ
スキーマ定義
論理型
スキーマの作成
スキーマの使用
データエンコーディングと型安全性
データエンコーディングの基本
コーダーの指定
デフォルトコーダーとCoderRegistry
ウィンドウ処理
ウィンドウ処理の基本
提供されているウィンドウ関数
PCollectionのウィンドウ関数の設定
ウォーターマークと遅延データ
PCollectionの要素にタイムスタンプを追加
トリガー
トリガーの基本
イベントタイムトリガーとデフォルトトリガー
処理時間トリガー
データドリブントリガー
トリガーの設定
複合トリガー
メトリクス
メトリクスの基本
メトリクスの種類
メトリクスのクエリ
パイプラインでのメトリクスの使用
メトリクスのエクスポート
状態とタイマー
状態の種類
遅延状態の読み取り
タイマー
状態のガベージコレクション
状態とタイマーの例
分割可能なDoFn
基本
サイズ調整と進捗状況
ユーザー開始チェックポイント
ランナー開始分割
ウォーターマーク推定
ドレイン中の切り捨て
バンドルファイナライズ
多言語パイプライン
クロスランゲージ変換の作成
クロスランゲージ変換の使用
ランナーのサポート
バッチ処理されたDoFn
変換サービス
パイプライン開発ライフサイクル
パイプラインの設計
パイプラインの作成
パイプラインのテスト
一般的なパイプラインパターン
概要
ファイル処理
サイド入力
パイプラインオプション
カスタムI/O
カスタムウィンドウ
BigQueryIO
AI Platform
スキーマ
BigQuery ML
効率的な外部サービス呼び出しのための要素のグループ化
共有オブジェクトを使用したキャッシュ
AI/MLパイプライン
AI/MLを始める
Beam MLについて
予測と推論
概要
複数のモデルを使用したパイプラインの構築
TensorRTを使用したカスタムモデルハンドラーの構築
LLM推論の使用
多言語推論パイプラインの構築
本番環境でのモデルの更新
データ処理
データの事前処理
データの探索
ワークフローオーケストレーション
ML-OPSワークフローオーケストレーターの使用
モデルトレーニング
エンティティごとのトレーニング
オンラインクラスタリング
MLモデルの評価
ユースケース
異常検知パイプラインの構築
リファレンス
RunInferenceメトリクス
モデル検証
ランタイムシステム
コンテナ環境
リソースヒント
SDKハーネス構成
変換カタログ
Python
概要
要素ごと
エンリッチメント
概要
Bigtableの例
Vertex AI Feature Storeの例
フィルター
FlatMap
キー
KvSwap
Map
MLTransform
ParDo
Partition
Regex
Reify
RunInference
概要
PyTorchの例
Sklearnの例
ToString
Values
WithTimestamps
集計
ApproximateQuantiles
ApproximateUnique
BatchElements
CoGroupByKey
CombineGlobally
CombinePerKey
CombineValues
Count
Distinct
GroupBy
GroupByKey
GroupIntoBatches
Latest
Max
Mean
Min
Sample
Sum
Top
ToList
その他
Create
Flatten
Reshuffle
WindowInto
Java
概要
要素ごと
フィルター
FlatMapElements
キー
KvSwap
MapElements
ParDo
Partition
Regex
Reify
ToString
Values
WithKeys
WithTimestamps
集計
ApproximateQuantiles
ApproximateUnique
CoGroupByKey
Combine
CombineWithContext
Count
Distinct
GroupByKey
GroupIntoBatches
HllCount
Latest
Max
Mean
Min
Sample
Sum
Top
その他
Create
Flatten
PAssert
View
Window
用語集
Beam Wiki
例
関連変換
キー
Javadoc
キーと値のペアのコレクションを受け取り、各要素のキーを返します。
例
関連変換
KvSwap
は、キーと値のペアの値を交換します。
Values
は、各要素の値を取得します。
WithKeys
は、各要素にキーを追加します。
最終更新日:2024/10/31
お探しの情報はすべて見つかりましたか?
すべて役に立ち、明確でしたか?変更したい点はありますか?ぜひお聞かせください!
フィードバックを送信