ブログ
2022/11/03
Beam スタータープロジェクト
David Cavazos
新しいBeamスタータープロジェクトを提供できることを嬉しく思います!🎉
新しいプロジェクトの設定と構成は時間がかかり、言語によって異なります。これにより、新しいApache Beamプロジェクトとパイプラインの作成を始めるのが容易になることを願っています。
すべてのスタータープロジェクトは独自のGitHubリポジトリに含まれているため、リポジトリをクローンするだけで準備完了です。各プロジェクトには使用方法を示すREADME、シンプルな「Hello World」パイプライン、およびパイプラインのテストが含まれています。GitHubリポジトリは、プルリクエストが開かれたり変更されたりしたときにテストを自動的に実行するGitHub Actionsが事前に設定されており、Dependabotが有効になっているため、すべての依存関係が最新の状態に保たれます。これらはすべてすぐに利用できるため、手間をかけずにBeamパイプラインを使い始めることができます。
たとえば、Javaを使い始める方法は次のとおりです。
git clone https://github.com/apache/beam-starter-java
cd beam-starter-java
# Install Java and Gradle with sdkman.
curl -s "https://get.sdkman.io" | bash
sdk install java 11.0.12-tem
sdk install gradle
# To run the pipeline.
gradle run
# To run the tests.
gradle test
そして、Pythonを使い始める方法は次のとおりです。
git clone https://github.com/apache/beam-starter-python
cd beam-starter-python
# Set up a virtual environment with the dependencies.
python -m venv env
source env/bin/activate
pip install -r requirements.txt
# To run the pipeline.
python main.py
# To run the tests.
python -m unittest
スタータープロジェクトを以下に示します。お好みの言語を選択できます。
- [Java] github.com/apache/beam-starter-java – GradleとMavenの両方の構成が含まれています。
- [Python] github.com/apache/beam-starter-python – パイプラインに複数のファイルを使用できるようにするsetup.pyファイルが含まれています。
- [Go] github.com/apache/beam-starter-go – ParDoに対してさまざまな種類の関数を登録する方法が含まれています。
- [Kotlin] github.com/apache/beam-starter-kotlin – Kotlinの慣用的なスタイルに合わせて調整されています。
- [Scala] github.com/apache/beam-starter-scala – 近日公開予定です!
新しいスタータープロジェクトを使用するようにJavaクイックスタートを更新しましたが、PythonとGoのクイックスタートも更新中です。
ご活用いただければ幸いです。フィードバックと貢献は大歓迎です!そのため、GitHubの問題を作成するか、いずれかのスタータープロジェクトのリポジトリにプルリクエストを送信してください。