Apache Beam コミュニティは、Season of Docs 2019 の第一回に申請することを発表できて大変嬉しく思っています！

Season of Docs は、テクニカルライターとオープンソースのメンターをペアにしてオープンソースに貢献するユニークなプログラムです。これにより、テクニカルライターをオープンソースコミュニティに紹介し、ライターが実際のオープンソースプロジェクトに取り組む際にガイダンスを提供することができます。Apache Beam コミュニティでは、この機会を利用して、テクニカルライターを招き、さまざまな方法でドキュメントの改善にご協力いただきたいと考えています。

Apache Beam には優秀なテクニカルライターの協力がありますが、プロジェクトのドキュメントニーズはしばしば彼らの処理能力を超えています。そのため、このプログラムに期待しています。

コミュニティでアイデアを話し合った結果、メンターを見つけ、新しく入ってくるテクニカルライターが取り組むのに最適な2つのアイデアをまとめました。この機会に興味を持っていただければ幸いです。もしそうであれば、Apache Beam のメーリングリスト dev@beam.apache.org にメールでお問い合わせください (最初に dev-subscribe@beam.apache.org にメールで登録する必要があります)。

Apache Beam で利用可能なプロジェクトのアイデアについては、以下で説明します。ぜひご覧いただき、ご質問があればお気軽にお問い合わせください。プロジェクトへの参加をサポートさせていただきます。

プロジェクトのアイデア

ポータブル Beam で使用するための Flink および Spark クラスターのデプロイ

Apache Beam のビジョンは、ユーザーが選択したプログラミング言語と、選択したランナーでパイプラインを作成および実行するためのフレームワークを提供することでした。Beam の現実がこのビジョンに向けて進化するにつれて、Apache Spark や Apache Flink などのランナー上で Beam が実行される方法が変化しました。

これらの変更は、Wiki や設計ドキュメントに記載されており、Beam のコントリビューターはアクセスできますが、ユーザー向けのドキュメントには記載されていません。これは、Beam の他のユーザーが採用する際の障壁となっています。

このプロジェクトでは、Flink ランナーページを改善し、Kubernetes クラスター、Google Cloud Dataproc クラスター、AWS EMR クラスターなど、いくつかの異なる環境に Beam をデプロイするための戦略を含める必要があります。この点で更新する必要があるドキュメントには、Python ストリーミングセクションや、サポートされている機能のセットなどがあります。

Flink ランナーに取り組んだ後、同様の更新をSpark ランナーページ、および入門ドキュメントに行う必要があります。

ランナー比較ページ / 機能マトリックスの更新

Beam は、どの言語 SDK + ランナーのセットでどの Beam 機能がサポートされているかを追跡するための機能マトリックスを維持しています。このプロジェクトには、機能マトリックスに対するいくつかの修正と改善が含まれており、その後、いくつかの大きな変更が続きます。

• 各ランナーの Beam モデルのサポートに関する平易な英語の要約。
• 各ランナーの本番環境での利用可能性に関する段落程度の説明。
• ランナー間のモデル以外の差異の比較。
• 各ランナーの移植性フレームワークのサポートの比較。

ありがとうございます、ご連絡をお待ちしております！