安國 順行
DWH構築・運用・保守開発
Talend×AuroraによるDWH構築 1日300万〜1000万レコードが登録・更新されるデータに対し、日々遅れなく連携する仕組みを構築。 ETLにTalendを利用しましたが、無償版のため連携対象のスキーマを動的に変更できず、苦労しました。 結局、Talend内でJavaのロジックを動かすことで連携対象をマスタ管理とし、汎用的に動作する仕組みを構築しました。 運用・保守開発では、すべてAWS上で構築されたインフラの面倒も少々… 言語:Java DB:Amazon Aurora、Amazon Redshift、Oracle ミドルウェア:Talend Open Studio