Embulkを利用したデータ転送基盤の構築 - VASILY DEVELOPERS BLOG
こんにちは。バックエンドエンジニアインターンの田島です。 ...
http://tech.vasily.jp/entry/embulk_data_transfer
VASILY DEVELOPERS BLOGが公開されました。今回のタイトルは“Embulkを利用したデータ転送基盤の構築”担当は、バックエンドエンジニアチームインターンの田島くんです!
VASILYではデータの分析にBigQueryというデータベースを使用しています。MySQLというデータベースから毎日BigQueryに同期しているのですが、この同期処理を行うシステムは約2年前に書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。
そのため、同期処理を行うシステムを新たに開発しました。今回このシステムには、VASILYでも本番環境では初めて使用するEmbulkというデータ移行のツールを利用しました。
実際のシステムに触れるのが何よりも楽しく、やりがいがありました。また、決まったプログラムではなく、自分がやりたいといった分野で、かつ挑戦できる内容にトライさせてもらえたのが刺激的でした。
私の場合は、「色んなツールに触ってみたい」という気持ちがあった為、今回の課題に挑戦させてもらいました。
まずは、自分の得意分野で1番を目指したいと考えています!一人ひとり得意な分野は違うと思うので、自分が何が得意なのかを見つけ、誰にも負けないと自信が持てるようになるまで成長していきたいです。
彼の書いたDEVELOPERS BLOGは以下でご覧いただけます。
田島くんは内定者として、引き続きインターンに参加してくれています。彼へのインタビューも公開したので、合わせてご覧ください。
【お問い合わせ】
株式会社VASILY 広報担当
press@vasily.jp