ライトコード技術記事

BigQuery

【dbt × BigQuery】増分更新について挙動を詳しく確認してみる【insert_overwrite（Dynamic partitions）, append】株式会社ライトコード

こんにちは！普段データ関連のお仕事をしています。現在所属しているチームではデータマートの作成の際にdbtを使用しており、コスト削減のために差分更新の対応中です。差分更新処理を書いていると「あれ？どんな挙動になるんだっけ？」ということが多いので、そんな自分に向けて増分更新の詳しい挙動を確認して、備忘録がてらブ...

BigQueryのテーブルの外部データとしてスプレッドシートを使う【株式会社ライトコード】

はじめに新田こんにちは。今回はBigQueryのテーブルの外部データとしてスプレッドシートを利用する方法をまとめたいと思います。特にマスタ系のデータを扱うような場合はデータの更新が面倒ですが、この方法を使うことで更新が楽になりました。外部データとするスプレッドシート今回は例としてこのようなスプレッドシ...

【GCP】BIG QUERYを触り程度に理解してみる【株式会社ライトコード】

弊社エンジニアの記事になります。はじめにこんにちは！今回は高速データ処理を行えるBIG QUERYを調べ、実際に使ってみるところまでやっていきたいと思います！調べるきっかけ業務でBIG QUERYを使用して「あるURLにどのくらいアクセスが来ているのか」ということを調べる機会があり、BIG QUERY自体...