I/Oコネクタ

Apache Beam I/Oコネクタは、最も一般的なデータストレージシステムに対する読み取りと書き込みのトランスフォームを提供するため、Beamユーザーはネイティブに最適化された接続性を活用できます。利用可能なI/Oを使用することで、Apache Beamパイプラインは、統一され分散された方法で、外部ストレージの種類との間でデータを読み書きできます。

X言語経由で示されているI/Oコネクタは、Apache Beamの多言語パイプラインフレームワークを使用して利用可能にされました。

組み込みI/Oコネクタ

この表は、利用可能な組み込みI/Oコネクタの概要を簡潔に示しています。

コネクタ名	サポートされるソース	サポートされるシンク	Java	Python	Go	Typescript	バッチサポート	ストリーミングサポート
FileIO	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	利用不可	✔	✔
AvroIO	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔ X言語経由	✔	✔
TextIO (メトリクス)	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔ X言語経由	✔	✔
TFRecordIO	✔	✔	✔ ネイティブ	✔ ネイティブ	利用不可	利用不可	✔	✘
XmlIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
TikaIO	✔	✘	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
ParquetIO (ガイド)	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔ X言語経由	✔	✘
ThriftIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
HadoopFileSystem	✔	✔	✔ ネイティブ	✔ ネイティブ	利用不可	✔X言語経由	✔	✘
GcsFileSystem (メトリクス)	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔X言語経由	✔	✘
LocalFileSystem	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔X言語経由	✔	✘
S3FileSystem	✔	✔	✔ ネイティブ	✔ ネイティブ	利用不可	✔X言語経由	✔	✘
インメモリ	✘	✔	✘	✘	✔ ネイティブ	✘	✔	✘
KinesisIO	✔	✔	✔ ネイティブ	✔ X言語経由	利用不可	利用不可	✔	✔
AmqpIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
KafkaIO	✔	✔	✔ ネイティブ	✔ X言語経由	✔ X言語経由	✔ X言語経由	✔	✔
PubSubIO	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	✔ X言語経由	✔	✔
JmsIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
MqttIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
RabbitMqIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SqsIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SnsIO	✘	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
CassandraIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
HadoopFormatIO (ガイド)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
HBaseIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
HCatalogIO (ガイド)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
KuduIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
SolrIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
ElasticsearchIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
BigQueryIO (ガイド) (指標)	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ ✔ X言語経由	✔ X言語経由	✔	✔
BigTableIO (指標)	✔	✔	✔ ネイティブ	✔ ネイティブ (シンク) ✔ X言語経由	✔ ネイティブ (シンク) ✔ X言語経由	利用不可	✔	✔
DatastoreIO	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	利用不可	✔	✔
SnowflakeIO (ガイド)	✔	✔	✔ ネイティブ	✔ X言語経由	利用不可	利用不可	✔	✘
SpannerIO	✔	✔	✔ ネイティブ	✔ X言語経由	✔ ネイティブ	利用不可	✔	✔
JdbcIO	✔	✔	✔ ネイティブ	✔ X言語経由	✔ X言語経由	利用不可	✔	✘
DebeziumIO	✔	✘	✔ ネイティブ	✔ X言語経由	✔ X言語経由	利用不可	✔	✔
MongoDbIO	✔	✔	✔ ネイティブ	✔ ネイティブ	✔ ネイティブ	利用不可	✔	✘
MongoDbGridFSIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
RedisIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
DynamoDBIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
ClickHouseIO	✘	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
DatabaseIO	✔	✔	✘	✘	✔ ネイティブ	利用不可	✔	✘
GenerateSequence	✔	✘	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SplunkIO	✘	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
FhirIO	✔	✔	✔ ネイティブ	利用不可	✔ ネイティブ	利用不可	✔	✔
HL7v2IO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
DicomIO	✔	✔	✔ ネイティブ	✔ ネイティブ	利用不可	利用不可	✔	✔
FlinkStreaming ImpulseSource	✔	✘	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✔
Firestore IO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
Neo4j	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
Pub/Sub Lite	✔	✔	✔ ネイティブ	✔ X言語経由	利用不可	✔ X言語経由	✔	✔
InfluxDB	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SparkReceiverIO (ガイド)	✔	✘	✔ ネイティブ	利用不可	利用不可	利用不可	✘	✔
CdapIO (ガイド)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SingleStoreDB (ガイド)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
GoogleAdsIO	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
Web API (ガイド)	✔	✔	✔ ネイティブ	✔ ネイティブ	利用不可	利用不可	✔	✔
Iceberg (マネージドI/O)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔

Apache Beamのその他のI/Oコネクタ

コネクタ名	サポートされるソース	サポートされるシンク	Java	Python	Go	Typescript	バッチサポート	ストリーミングサポート
Solace	✔	✘	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
SAP Hana to Google BigQuery	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
MySQL	✔	✔	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✘
TrepWsIO	✔	✘	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
KineticaDB	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
Cognite Data Fusion	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✔
Pyodbc	✔	✔	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✘
Go Connect	✔	✔	✘	✘	✔ ネイティブ	利用不可	✔	✔
Tinybird	✘	✔	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✔
Cloud SQL	✔	✘	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✘
Cloud Bigtable (HBaseベース)	✔	✔	✔ ネイティブ	利用不可	利用不可	利用不可	✔	✘
Beam PyIO (Python IOコネクタの集合)	✔	✔	利用不可	✔ ネイティブ	利用不可	利用不可	✔	✔

最終更新日: 2024/10/31

お探しのものが見つかりましたか？

すべて役に立ち、分かりやすかったですか？変更したい点があればお知らせください！