ブログ

2016/08/03

Apache Beam：インキュベーション期間6ヶ月

Frances Perry [@francesjperry]

Apacheソフトウェア財団に正式にインキュベーションが承認されてから、6ヶ月が過ぎました。コミュニティとして、私たちはBeamを軌道に乗せるために懸命に取り組んできました。

最初の6ヶ月間の数値だけを見ると、

  • Cloudera、dataArtisans、Googleから寄贈された48,238行の既存コード。
  • 45人の貢献者からの761件のプルリクエスト。
  • 498件のJira課題が開かれ、245件が解決されました。
  • 1つのインキュベーションリリース（さらに1つが進行中）。
  • 4,200時間の自動テスト。
  • user@に161人の購読者/606件のメッセージ。
  • dev@に217人の購読者/1205件のメッセージ。
  • GitHubで277のスターと174のフォーク。

そして、これらの数値の背後には、次のような多くの技術的進歩がありました。

  • コードベース全体、例、テストを真にランナーに依存しないようにリファクタリングしました。
  • Apache Flinkランナーのバッチおよび境界付きソースのタイムスタンプ/ウィンドウと、ストリーミングモードのサイド入力の新しい機能。
  • Spark 2.0を使用するためにApache Sparkランナーをアップグレードする作業が進行中です。
  • より広範なApacheコミュニティからのいくつかの新しいランナー - Apache Gearpumpには独自の機能ブランチがあり、Apache ApexにはPRがあり、Apache Stormなどで会話が始まっています。
  • Beamモデルを公開するための新しいSDK / DSL-GoogleのPython SDKは機能ブランチにあり、SpotifyのScio DSLを追加する予定です。
  • 追加のデータソースとシンクのサポート-Apache KafkaとJMSが導入され、Amazon Kinesis、Apache Cassandra、MongoDBのPRがあり、さらに多くのコネクタが計画されています。

しかし、おそらく最も重要なことは、私たちは関与し、歓迎するコミュニティの構築に尽力していることです。これまでのところ、私たちは

  • DoFnの再利用セマンティクス、シリアル化テクノロジー、状態にアクセスするためのAPIなどの機能に関する詳細な設計に関する議論を伴う、活気のある開発者コミュニティの構築を開始しました。
  • 活発なメーリングリストとウェブサイトとドキュメントの改善により、ユーザーコミュニティの構築を開始しました。
  • ApacheCon、Hadoop Summit、Kafka Summit、JBCN Barcelona、Strataなどの会場でBeamに関する複数の講演を行いました。
  • 複数の既存のミートアップで発表し、独自のミートアップをいくつか組織し始めています。

私たちがしてきたすべてのことについて振り返るのは良いことですが、私たちは安定したリリースとインキュベーターからの卒業に向けて全力で取り組んでいます。そして、私たちはあなたの助けを愛しています-メーリングリストに参加し、貢献ガイドを確認し、Jiraからスタータータスクを取得してください！