導入事例

Mozillaは、非営利のFirefoxブラウザーです。このユースケースは、あるシステムから別のシステムにデータを安全に移動することから生じる複雑さ、ある変換から別の変換に渡されるデータのモデリング、エラー処理、システムのテスト、およびFirefoxクライアントからテレメトリデータを取り込むためのオープンソースのコードベースで、異なるソースおよび宛先システムに対してパイプラインを構成可能にするためのコードの編成に焦点を当てています。

Spotifyで開発され、Python向けApache Beamの上に構築されたKlioは、研究者やエンジニアがオーディオやその他のメディアファイルを大規模に簡単かつスマートに処理するためのデータパイプラインを構築できるようにするオープンソースフレームワークです。

Kioは、Java SDKのfluent-like APIを実装するためのApache BeamのKotlin拡張機能のセットです。

GraalSystemsは、Beam、Spark、Tensorflow、Samza、その他多くのデータ処理ソリューションをサポートするクラウドネイティブデータプラットフォームです。アーキテクチャの中核には、Apache Pulsarクラスターから1日あたり20億件以上のイベントをルーティングするためにBeamを使用する分散処理および分析モジュールのセットがあります。クライアント向けには、本番プラットフォームで1日に2,000件以上のBeamジョブを非常に大規模に実行しています。

Oriel Research Therapeutics（ORT）は、最先端の人工知能技術と次世代シーケンス（NGS）を利用して、複数の病状の早期検出サービスを提供する、ボストン地域の大手企業です。ORTは、100万件を超えるゲノミクスおよび臨床情報のサンプルを処理するために、Apache Beamパイプラインを利用しています。処理されたデータは、白血病、敗血症、その他の病状の検出においてORTによって使用されます。

eBayは、オンラインWebサイトを通じて企業間および消費者間の販売を提供するアメリカの電子商取引会社です。彼らは、Apache Beamを使用して機能パイプラインを構築し、オンラインとオフラインでの機能の抽出と選択を統合し、モデルトレーニング、評価、およびサービス提供のためのE2Eイテレーションを高速化し、異なるタイプ（ストリーミング、ランタイム、バッチ）の機能をサポートしています。eBayは、Kafka、Hadoop、Flink、AirflowなどをeBayに統合するための基盤として、ストリーミング機能SDKにApache Beamを活用しています。

GOGA Data Analysis and Consultingは、地理空間データと地図データの分析を専門とする日本を拠点とする会社です。分析目的でのスムーズなデータ変換プロセスにApache BeamとCloud Dataflowを使用しています。このユースケースは、提供された場所に基づいて各データのAPI呼び出しを処理および要求することで、複数の抽出、ジオコーディング、および挿入プロセスを処理することに焦点を当てています。