予測と推論

Beamは、パイプラインの一部として推論を実装するためのさまざまな方法を提供します。MLモデルをパイプラインで直接実行し、バッチパイプラインとストリーミングパイプラインの両方で、大規模データセットに適用できます。

RunInference APIを使用する

Pydoc Pydoc




Javadoc Javadoc

RunInference APIは、Beam Python SDKバージョン2.40.0以降で使用できます。Apache BeamとRunInference APIを使用すると、機械学習（ML）モデルを使用して、バッチおよびストリーミングパイプラインでローカルおよびリモート推論を実行できます。Apache Beam 2.40.0以降では、PyTorchおよびScikit-learnフレームワークがサポートされています。Tensorflowモデルは、tfx-bslを通じてサポートされています。PythonでのRunInferenceの使用に関する詳細については、Beam MLについてを参照してください。

RunInference APIは、Apache Beamの多言語パイプラインフレームワークを通じて、Beam Java SDKバージョン2.41.0以降で使用できます。Javaラッパートランスフォームについては、RunInference.javaを参照してください。試してみるには、Java Sklearn Mnist Classificationの例を参照してください。

RunInference APIを使用して、複数の種類の変換を作成できます。このAPIは、モデルハンドラーから複数の種類のセットアップパラメーターを取得し、パラメーターの型によってモデルの実装が決定されます。

タスク例
RunInference変換を使用したいMLモデルを使用するようにPythonパイプラインを変更する
PyTorchでRunInferenceを使用したいPyTorchでRunInferenceを使用する
SklearnでRunInferenceを使用したいSklearnでRunInferenceを使用する
事前トレーニング済みのモデル（PyTorch、Scikit-learn、またはTensorFlow）を使用したい事前トレーニング済みのモデルを使用する

ユースケース

タスク例
複数のモデルでパイプラインを構築したいマルチモデルパイプライン
TensorRTでカスタムモデルハンドラーを構築したいRunInferenceでTensorRTを使用する
LLM推論を使用したい大規模言語モデル推論