概要

Hazelcast Jet Runner は、Hazelcast Jet を使用して Beam パイプラインを実行するために使用できます。

Jet Runner と Jet は、大規模な継続的なジョブに適しており、以下を提供します。

• バッチ（バウンド）データセットとストリーミング（アンバウンド）データセットの両方のサポート
• 非常に高いスループットと低いイベントレイテンシを同時にサポートするランタイム
• ストリーミングプログラムにおける自然なバックプレッシャー
• インメモリストレージを備えた分散型大規模並列データ処理エンジン

Jet Runner は現在実験段階であることに注意することが重要です。Jet に存在する多くの機能を使用できません。

• Jet は完全なフォールトトレランスをサポートしていますが、Jet Runner はサポートしていません。ジョブが失敗した場合は、再起動する必要があります。
• Jet の内部パフォーマンスは非常に高くなっています。Beam パイプラインの最適化/処理が完全に実装されていないため、現時点では Runner はそれに匹敵しません。

Jet Runner のサポートされている機能については、Beam 機能マトリックスを参照してください。

Hazelcast Jet Runner を使用した WordCount の実行

Beam examples プロジェクトの生成

Java クイックスタートページの手順に従ってください。

ローカル Jet クラスタでの WordCount の実行

新しい Jet クラスタを開始し、その上で WordCount の例を実行するには、Beam examples プロジェクトで次のコマンドを実行します。

    $ mvn package exec:java \
        -DskipTests \
        -Dexec.mainClass=org.apache.beam.examples.WordCount \
        -Dexec.args="\
            --runner=JetRunner \
            --jetLocalMode=3 \
            --inputFile=pom.xml \
            --output=counts" \
        -Pjet-runner

リモート Jet クラスタでの WordCount の実行

アーキタイプから生成された Beam examples プロジェクトは、特定のリリースされた Beam バージョン（`archetypeVersion` プロパティに関するものです）から提供されます。Jet Runner を含む各 Beam バージョン（2.14.0 以降）は、特定のバージョンの Jet を使用します。このため、スタンドアロンの Jet クラスタを開始して Beam の例を実行しようとすると、両方が互換性があることを確認する必要があります。さまざまな Beam バージョンに推奨される Jet バージョンについては、次の表を参照してください。

使用している Beam と互換性のある最新の Hazelcast Jet バージョンをHazelcast Jet ウェブサイトからダウンロードしてください。

ダウンロードが完了したら、Jet クラスタを開始する必要があります。最も簡単な方法は、ダウンロードした Jet ディストリビューションに付属の `jet-start` スクリプトを使用して Jet クラスタメンバーを開始することです。メンバーは自動検出機能 自動検出機能を使用してクラスタを形成します。2 つのメンバーで構成されるクラスタを起動してみましょう。

$ cd hazelcast-jet
$ bin/jet-start.sh &
$ bin/jet-start.sh &

$ cd hazelcast-jet
$ bin/jet-start &
$ bin/jet-start &

クラスタが稼働していることを確認します。

$ bin/jet.sh cluster

$ bin/jet cluster

次のような内容が表示されます。

State: ACTIVE
Version: 3.0
Size: 2

ADDRESS                  UUID
[192.168.0.117]:5701     76bea7ba-f032-4c25-ad04-bdef6782f481
[192.168.0.117]:5702     03ecfaa2-be16-41b6-b5cf-eea584d7fb86

State: ACTIVE
Version: 4.0
Size: 2

ADDRESS                  UUID
[192.168.0.117]:5701     b9937bba-32aa-48ba-8e32-423aafed763b
[192.168.0.117]:5702     dfeadfb2-3ba5-4d1c-95e7-71a1a3ca4937

Beam Examples プロジェクトのディレクトリに変更し、次のコマンドを実行して、リモート Jet クラスタにパイプラインを送信して実行します。入力ファイル（カウントする単語を含むファイル）をクラスタが実行されているすべてのマシンに配布してください。そうでなければ、単語カウントジョブはデータを読み取ることができません。

    $ mvn package exec:java \
        -DskipTests \
        -Dexec.mainClass=org.apache.beam.examples.WordCount \
        -Dexec.args="\
            --runner=JetRunner \
            --jetServers=192.168.0.117:5701,192.168.0.117:5702 \
            --codeJarPathname=target/word-count-beam-bundled-0.1.jar \
            --inputFile=<INPUT_FILE_AVAILABLE_ON_ALL_CLUSTER_MEMBERS> \
            --output=/tmp/counts" \
        -Pjet-runner

Jet Runner のパイプラインオプション