Apache Beam Java SDK

Apache Beam向けJava SDKは、Javaでバッチおよびストリーミングの並列データ処理パイプラインを構築するためのシンプルで強力なAPIを提供します。

Java SDKを使い始める

BeamのすべてのSDKに適用される基本的な概念を学ぶには、Beamプログラミングモデルから始めましょう。

個々のAPIの詳細については、Java APIリファレンスを参照してください。

サポートされている機能

Java SDKは、Beamモデルで現在サポートされているすべての機能をサポートしています。

パイプラインI/O

現在利用可能なI/O変換のリストについては、Beam提供のI/O変換ページを参照してください。

拡張機能

Java SDKには次の拡張機能があります

• join-libraryは、内部結合、左外部結合、右外部結合の関数を提供します。
• sorterは、大規模な反復処理のための効率的でスケーラブルなソーターです。
• Nexmarkは、バッチモードとストリーミングモードで実行されるベンチマークスイートです。
• TPC-DSは、バッチモードで実行されるSQLベンチマークスイートです。
• euphoriaは、BEAM用の使いやすいJava 8 DSLです。

さらに、いくつかのサードパーティのJavaライブラリが存在します。

Java複数言語パイプラインクイックスタート

Apache Beamでは、サポートされている任意のSDK言語で記述された変換を組み合わせて、1つの複数言語パイプラインで使用できます。 Java SDKを使用して複数言語パイプラインを作成する方法については、Java複数言語パイプラインクイックスタートを参照してください。