株式会社SiNCE 約2ヶ月前 フォロー SiNCE 編集部 他5人 Docker上でApache Airflowを手軽に始める方法 Dockerを使用したApache Airflow環境構築手順を解説。ワークフローのスケジューリングと監視を行うオープンソースツールApache AirflowにDockerを利用して環境依存性... もっと見る
株式会社SiNCE 約2ヶ月前 フォロー SiNCE 編集部 他5人 Terraformを使用してGoogle Cloud PlatformでVMインスタンスを立ち上げる クラウドコンピューティングを最大限に活用するためには、インフラストラクチャのコード化と自動化は不可欠。 GCPでのインフラ管理を簡素化するため、Terraformを使用してGCPでVMインスタン... もっと見る
株式会社SiNCE 3ヶ月前 フォロー SiNCE 編集部 他5人 SnowflakeのDWHにAmazon S3のデータをロードする方法 大規模なデータセットを管理するためのSnowflakeのデータウェアハウスに、S3(Amazon Simple Storage Service)からのデータロード方法について説明します。S3はデ... もっと見る
データエンジニア tech blog 3ヶ月前 フォロー 藤井 祐麻 広告出稿のKPI最大化のためのデータ基盤開発 〜第2章データパイプライン開発〜 こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。※ この記事は、記事執筆者の代理として藤井によってアップロードされ... もっと見る
データエンジニア tech blog 4ヶ月前 フォロー 藤井 祐麻 広告出稿のKPI最大化のためのデータ基盤開発 第1章 プロジェクト発足 こんにちは。バンダイナムコネクサス データエンジニアの上田です。 ※ この記事は、記事執筆者の代理として藤井によってアップロードされています。内容に関する質問やコメントは藤井経由にてご連絡くださ... もっと見る
データエンジニア tech blog 4ヶ月前 フォロー 吉村 武 高品質のデータ基盤を構築するためにデータマネージャーが行ったこと こんにちは!バンダイナムコネクサス データ戦略部の吉村です。今回は、わたくしデータマネージャーが、高品質のデータ基盤を構築するための進めかたと意識しているポイントをご紹介します。高品質のデータ基... もっと見る
社員インタビュー 11ヶ月前 フォロー 千葉 なつみ 自らの可能性を探求──電気エンジニアからキャリアチェンジしたデータサイエンスの世界 2016年に入社した伊中 茂。電気系エンジニアとして約3年間勤務した後、社内の研修制度を利用してデータサイエンスの部署に異動しました。異動後はデータ基盤の開発を担当しています。大きなキャリアチェ... もっと見る
データエンジニア tech blog 約1年前 フォロー 藤井 祐麻 他1人 バンダイナムコネクサスで構築しているデータ基盤の紹介 データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来た... もっと見る
社員インタビュー 1年以上前 フォロー K カケハシデータ基盤チームの1年間の取り組みを振り返ろう こちらの記事はカケハシ Advent Calendar 2022 の21日目の記事になります。はじめにこんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほ... もっと見る
株式会社ZOZO 1年以上前 フォロー 株式会社 ZOZO 【TECH BLOG】全社共通データ基盤を廃止して新しいデータ基盤に引越した話 こんにちは、データ基盤の開発、運用をしていた谷口です。最近は配信基盤の開発と運用をしています。ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています... もっと見る
Gunosy 約2年前 フォロー Miho Tanaka 第10期上半期AWARD受賞者インタビューVol.1/さまざまな条件と制約の中で先を読んだ最適解を!脱Redash... こんにちは。今回から数回にわたり先日紹介した『Gunosy 第10期上半期締め会』の表彰式で受賞した社員へのインタビューをお送りします!記念すべき第一回は「日々の地道な改善を行なうことで持続的な... もっと見る
株式会社ZOZO 約2年前 フォロー 株式会社 ZOZO 【TECH BLOG】BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み こんにちは、データ基盤の開発・運用をしている谷口です。本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮した... もっと見る
PharmaX株式会社 約2年前 フォロー Kanako Kashihara 他5人 YOJOのデータ基盤と今後の展望 目次はじめに従来のデータ基盤(構想段階)3つの問題と解決策の振り返り問題1:データ変換処理の分散化解決策問題2:データパイプラインのワークフロー管理解決策問題3:手作業によるインフラ構築の負債化... もっと見る
株式会社ZOZO 2年以上前 フォロー 株式会社 ZOZO 【TECH BLOG】INFORMATION_SCHEMAを用いたBigQueryのストレージ無駄遣い調査 こんにちは、『地球の歩き方ムー』創刊のニュースに心を踊らせている、データ基盤ブロックの塩崎です。本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介... もっと見る
ニフティ株式会社 約3年前 フォロー Mio Yoneda 【データアーキテクト】N1!メンバーを紹介します。 こんにちは。ニフティ採用育成担当の米田です。N1!メンバーの紹介も残り2名となりました!今回はデータアーキテクトとして活躍する黒羽さんをご紹介します。はじめにこんにちは。ニフティ株式会社の黒羽で... もっと見る