Apache Beamのご紹介

統合されたApache Beamモデル

バッチとストリーミングデータ処理を最も簡単に実行する方法。一度記述すれば、ミッションクリティカルな本番ワークロードのためのあらゆる場所で実行可能なデータ処理。

Apache Beamのご紹介

統合されたApache Beamモデル

バッチとストリーミングデータ処理を最も簡単に実行する方法。一度記述すれば、ミッションクリティカルな本番ワークロードのためのあらゆる場所で実行可能なデータ処理。

動作原理

データソース

Beamは、オンプレミスでもクラウドでも、サポートされている様々なソースからデータを読み取ります。

データ処理

Beamは、バッチとストリーミングの両方のユースケースにおいて、ビジネスロジックを実行します。

データ書き込み

Beamは、データ処理ロジックの結果を業界で最も人気のあるデータシンクに書き込みます。

Apache Beamの機能

統合

データチームとアプリケーションチームのすべてのメンバーにとって、バッチとストリーミングの両方のユースケースを対象とした、簡素化された単一のプログラミングモデル。

拡張性

Apache Beamは拡張性があり、TensorFlow ExtendedやApache HopなどのプロジェクトがApache Beam上に構築されています。

移植性

複数の実行環境(ランナー)でパイプラインを実行し、柔軟性を提供し、ベンダーロックインを回避します。

オープンソース

オープンでコミュニティベースの開発とサポートにより、アプリケーションの進化と特定のユースケースのニーズへの対応を支援します。

一度記述して、どこでも実行
複数言語のパイプラインを作成

Beam Playgroundを試す

Beam Playgroundは、Apache Beamを環境にインストールすることなく、Beam変換と例を試せる対話型環境です。Beam PlaygroundでApache Beamの例を試すことができます。



beam playground
Apache Beamを活用した事例紹介
previous button
Apache BeamはLinkedInのストリーミングインフラストラクチャを支え、3,000以上のパイプラインで毎日4兆件のイベントをほぼリアルタイムで処理しています。Beamにより統合パイプラインが実現し、コストを2倍削減し、多くのユースケースで著しい改善をもたらしました。
Quote Logo
Apache Beamを使用することで、OCTOはフランス最大の食料品小売業者の1社におけるトランザクションデータのストリーミング処理への移行を加速し、インフラストラクチャコストを5倍削減し、パフォーマンスを4倍向上させました。
Quote Logo
HSBCは、Apache Beamを計算プラットフォームとリスクエンジンとして活用し、100倍のスケーリング、2倍の高速なパフォーマンス、HSBCの世界的な規模でのXVAとカウンターパーティ信用リスクの評価と管理のためのデータ配布の簡素化を実現しました。
Quote Logo
Apache Beamは、Project Shieldの使命である言論の自由を守り、ウェブをより安全な空間にすることを支援しており、3,000人以上の顧客に対して、毎秒10,000件以上のクエリでストリーミング効率を約2倍向上させ、攻撃データへのリアルタイムの可視性を提供しています。
Quote Logo
Apache BeamはBooking.comのグローバル広告入札(パフォーマンスマーケティング向け)を支え、毎日2PB以上のデータをスキャンし、処理速度を驚異の36倍向上させ、市場投入までの時間を最大4倍短縮しました。
Quote Logo
Apache BeamはCredit KarmaのデータとMLプラットフォームのスケーラビリティと効率性を将来にわたって確保し、統合パイプラインによるMLOpsを実現し、毎秒5,000件のイベントで毎日5〜10TBを処理し、20,000以上のML機能を管理しています。
Quote Logo
Apache BeamはIntuitのStream Processing Platformの中心的なコンポーネントであり、ストリーム処理パイプラインの作成時間を3倍高速化しました。
Quote Logo
Apache Beamは、リアルタイムのMLストリーミング機能生成とモデル実行を可能にし、LyftのマーケットプレイスML予測の最適化に重要な役割を果たし、毎分約400万件のイベントを処理して約100個の機能を生成しました。
Quote Logo
チェコの検索エンジンであるSeznamは、Apache Beamの初期の貢献者であり採用者であり、ペタバイト規模のワークロードをApache Beamパイプラインに移行しました。
Quote Logo
Palo Alto Networks, Inc.はグローバルなサイバーセキュリティリーダーであり、リアルタイムストリーミングインフラストラクチャのために、毎秒約1,000万件のセキュリティログイベントを処理するためにApache Beamを使用しています。
Quote Logo
Apache Beamは、スイスを代表する中古マーケットプレイスであるRicardoに、基本的なビジネスシナリオをサポートし、リアルタイムおよびMLデータ処理を可能にする、スケーラブルで信頼性の高いデータ処理フレームワークを提供しています。
Quote Logo
オープンソースのデータオーケストレーションプラットフォームであるApache Hopは、Apache Beamを使用して「一度設計して、どこでも実行」を実現し、ビジュアルパイプライン開発とライフサイクル管理を可能にすることで、Apache Beamユーザーに付加価値を提供しています。
Quote Logo
あなたの事例を共有しませんか?あなたのロゴがここに掲載されるかもしれません。
Quote Logo
next button

Beamの最新情報