Beamの新しい2.13.0リリースを発表できることを嬉しく思います。このリリースには、改善と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。

2.13.0の変更の詳細については、詳細なリリースノートをご覧ください。

ハイライト

I/O

• BigQueryストレージAPIを使用したクエリ結果の読み取りをサポートします。
• 他のSDKと併用するために、KafkaIOを外部から設定できるようにサポートします。
• BigQuery IOは、Python 3でBYTESデータ型をサポートするようになりました。
• Python 3でAvro IOのサポートが有効になりました。
• Python 3パイプラインの場合、Beam AvroIOおよびDataflowワーカーで使用されるデフォルトのAvroライブラリがavro-python3からfastavroに切り替えられました。

新機能/改善

• Flink 1.8のサポートが追加されました。
• Portable Sparkランナーでワードカウントを実行するためのサポート。
• FnApi Dataflow RunnerのElementCountメトリック。
• ラムダからBinaryCombineFnを作成するためのサポート。

破壊的変更

• Python DirectRunnerでBeam Bigquery IOを使用してBYTESデータ型をBigqueryに書き込む場合、ユーザーはBigquery IOに渡す前にバイト値をbase64エンコードする必要があります。したがって、BigQueryからバイトデータを読み取る場合、IOはbase64エンコードされたバイトも返します。この変更は、Python DirectRunnerのBigquery IOにのみ影響します。新しいDirectRunnerの動作は、Beam Java Bigquery IO、およびPython Dataflow Runnerによるバイトの処理と一致しています。

バグ修正

• さまざまなバグ修正とパフォーマンスの向上。

貢献者一覧

git shortlogによると、以下のユーザーが2.13.0リリースに貢献しました。すべての貢献者に感謝します！

Aaron Li, Ahmet Altay, Aizhamal Nurmamat kyzy, Alex Amato, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, apstndb, Boyuan Zhang, Brian Hulette, Brian Quinlan, Chamikara Jayalath, Cyrus Maden, Daniel Chen, Daniel Oliveira, David Cavazos, David Moravek, David Yan, EdgarLGB, Etienne Chauchot, frederik2, Gleb Kanterov, Harshit Dwivedi, Harsh Vardhan, Heejong Lee, Hennadiy Leontyev, Henri-Mayeul de Benque, Ismaël Mejía, Jae-woo Kim, Jamie Kirkpatrick, Jan Lukavský, Jason Kuster, Jean-Baptiste Onofré, JohnZZGithub, Jozef Vilcek, Juta, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Łukasz Gajowy, Luke Cwik, Mark Liu, Mathieu Blanchard, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Kaplinskiy, Mike Pedersen, Mikhail Gryzyk, Mikhail-Ivanov, Niklas Hansson, pabloem, Pablo Estrada, Pranay Nanda, Reuven Lax, Richard Moorhead, Robbe Sneyders, Robert Bradshaw, Robert Burke, Roman van der Krogt, rosetn, Rui Wang, Ryan Yuan, Sam Whittle, sudhan499, Sylwester Kardziejonek, Ted, Thomas Weise, Tim Robertson, ttanay, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Yifan Zou, yoshiki.obata, Yueyang Qiu