ブログ & リリース
2019/08/22
Apache Beam 2.15.0
Beamの新しい2.15.0リリースを発表できることを嬉しく思います。このリリースには、改良と新機能の両方が含まれています。このリリースのダウンロードページをご覧ください。
2.15.0の変更の詳細については、詳細なリリースノートをご覧ください。
ハイライト
- バンドルされたGuavaがバージョン26.0にアップグレードされました。
- PythonのFnApiRunnerでのマルチプロセス実行をサポートしました。(BEAM-3645)
I/O
- IndexedRecord用のAvroIO.sinkを追加しました(FileIO互換)。(BEAM-6480)
- BigQueryのクラスタ化テーブルへの書き込みをサポートしました。(BEAM-5191)
新機能/改良
- SQLでParquetTableをサポートしました。(BEAM-7728)
- Dataflow Runnerにホットキー検出を追加しました。(BEAM-7820)
- JDBC sinkでスキーマをサポートしました。(BEAM-6675)
- より良い自動スケーリングのために、GCSのスロットリング時間をDataflowオートスケーラーに報告するようにしました。(BEAM-7667)
--update
の使用のために、Python SDKでtransform_name_mappingオプションをサポートしました。(BEAM-7761)- 依存関係:Jackson databindをバージョン2.9.9.3にアップグレードしました。(BEAM-7880)
バグ修正
- 様々なバグ修正とパフォーマンス向上。
既知の問題
- BEAM-7616 urlopen呼び出しがハングする可能性があります。(2.14.0からの回帰)
- BEAM-8111 SchemaCoderがDataflowで失敗し、SqlTransformとスキーマ対応トランスフォームの使用が妨げられます。(2.14.0からの回帰)
- (BEAM-8368) macOS 10.15にPython SDKをインストールできません。
破壊的変更
- 将来、
--region
フラグはDataflowで必須のフラグになります。この将来の変更について警告が追加されました。(BEAM-7833)
貢献者一覧
git shortlogによると、以下の人々が2.15.0リリースに貢献しました。すべての貢献者に感謝します!
Ahmet Altay, Alexey Romanenko, Alex Goos, Alireza Samadian, Andrew Pilloud, Ankur Goenka, Anton Kedin, Aryan Naraghi, Bartok Jozsef, bmv126, B M VISHWAS, Boyuan Zhang, Brian Hulette, brucearctor, Cade Markegard, Cam Mach, Chad Dombrova, Chaim Turkel, Chamikara Jayalath, Charith Ellawala, Claire McGinty, Craig Chambers, Daniel Oliveira, David Cavazos, David Moravek, Dominic Mitchell, Dustin Rhodes, Etienne Chauchot, Filipe Regadas, Gleb Kanterov, Gunnar Schulze, Hannah Jiang, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Ivo Galic, Jan Lukavský, Jawad, Juta, Juta Staes, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Lily Li, Logan HAUSPIE, lostluck, Łukasz Gajowy, Luke Cwik, Mark Liu, Matt Helm, Maximilian Michels, Michael Luckey, Mikhail Gryzykhin, Neville Li, Nicholas Rucci, pabloem, Pablo Estrada, Paul King, Paul Suganthan, Raheel Khan, Rakesh Kumar, Reza Rokni, Robert Bradshaw, Robert Burke, rosetn, Rui Wang, Ryan Skraba, RyanSkraba, Sahith Nallapareddy, Sam Rohde, Sam Whittle, Steve Niemitz, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, ttanay, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Wout Scheepers, yanzhi, Yekut, Yichi Zhang, Yifan Zou, yoshiki.obata, Yueyang Qiu, Yunqing Zhou