カスタムI/Oパターン

このページでは、カスタムI/Oコネクタを使用したパイプラインにおける一般的なパターンについて説明します。カスタムI/Oコネクタは、Beamの組み込みI/Oトランスフォームではサポートされていないデータベースにパイプラインを接続します。

組み込みコネクタとカスタムコネクタの選択

組み込みI/Oコネクタはテスト済みで堅牢であるため、可能な限りそれらを使用してください。カスタムI/Oコネクタは、次の場合にのみ使用してください。

たとえば、パイプライン要素をソースデータの小さなサブセットで拡張するために、カスタムI/Oコネクタを使用します。販売注文を処理し、各購入情報に追加する場合、カスタムI/Oコネクタを使用して、小さなデータサブセットをパイプラインに引き込むことができます（ソース全体を処理する代わりに）。

Beamは多くのスレッドにわたって作業を分散するため、カスタムI/Oコネクタはデータソースの平均負荷を増加させる可能性があります。startstartおよびfinishfinishバンドルアノテーションを使用して、負荷を軽減できます。