Hatena Blog Tags
はてなブログ トップ
BigQuery
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigQuery

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
エニグモ開発者ブログ•8日前

【BigQuery】過去データの再作成が超絶楽になる！ループ処理でシャーディングテーブルを一気に作成する方法

こんにちは、エニグモの嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いたCRM施策などを担当しています。 本記事はEnigmo Advent Calendar 2025の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバトンも、いよいよ今回が最終回となります！ 最終回は、データ分析・データ活用の裏側を支える技術にフォーカスし、BigQueryに関する（少しディープな）知見を共有します。 時点データとは？ データ分析において、現時点のデータだけでなく「過去のある時点」のデータを保持しておくことは極めて重要です。例えば、ユーザーの注文回数、…

#Advent Calendar 2025#BigQuery#データ分析

関連ブログ

FURYU Tech Blog - フリュー株式会社•12日前

GA4×BigQuery：スキャン量を99%削減するテーブル設計

この記事はフリューAdvent Calendar 2025の21日目の記事となります。みなさまこんにちは。 プリントシール機やピクトリンクのデータ分析をしている堀江です。もう年末ですね～、2025年もたくさんのデータと向き合いました。 日々、ユーザーの行動データを分析してサービス改善に活かしているのですが、データ量が増えるにつれてある問題が大きくなってきました。そう、BigQueryの実行コストです。今日はGA4データの集計で行ったコスト削減について、実際にやってみた内容を共有します。 はじめに 分析環境 困っていたこと やったこと 1. テーブル設計のパターン 1-a. 頻出イベントに絞る（…

#Google Cloud#GCP#BigQuery#GA4
Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)•14日前

Redashで見栄えを良くしよう

この記事は Akatsuki Games Advent Calendar 2025 16日目の記事です。 はじめに サーバエンジニアの井出です。今年新卒で入社して、主に新規機能開発を行っています。また自分自身のサブタスクとして、チームのデータ分析も行っています。本日は自分がデータ分析のタスクの中で、「これ良いTipsだな」って思ったことを書かせていただきます！ 注意書き 本記事では、実際にタスクを進める中で学んだ事を記事にしています。そのため、一部内容を変更している箇所があります。伝えたい内容に影響はないのでご了承ください...。 概要 データ分析のタスクは、年間の売上分析、使用キャラランキン…

#Redash#SQL#BigQuery
ゼスト Tech Blog•16日前

Dataformワークフローとの出会い

最近導入したDataformのワークフローについて紹介したいと思います。 はじめに 弊社の在宅医療・介護業界向け訪問スケジュール管理サービスである「ZEST SCHEDULE」で登録・蓄積されたデータを可視化できる「ZEST BOARD」というサービスがあり、BigQuery x Looker を使ってダッシュボードのサービス提供・運用をしています。 データの流れとしては、ZEST SCHEDULEのDBに登録されたデータについて、Datastreamを使ってニアリアルタイムにBigQueryへデータが転送されます。 BigQueryに溜まったデータを、ある程度使いやすい粒度で集計・加工し、そ…

#Looker#Dataform#BigQuery
CADDi Tech Blog•17日前

SQL レビューを効率化する CI。CADDiにおける実践知

この記事は dbt Advent Calendar 2025 の16日目の記事です。 Data Management チームの森岡です。要らなくなったものをすぐに捨てられるデータ基盤を意識して日々開発しています。 この記事では、CADDi における SQL レビューを効率化するための CI の実践知について紹介します。 はじめに 生成 AI の台頭により、データエンジニアリングは大きく変わりつつあります。 CADDi では、AI エージェント「Devin」を Slack ワークフローに組み込むことで、Biz 職のメンバーでも自律的に dbt model の作成・修正が行える環境を構築しています…

#BigQuery#データ基盤
asoview! Tech Blog•21日前

アソビューのDWH一本化プロジェクト：BigQuery一本化運用開始までのステップ

はじめに アソビューAdvent Calendar 2025の12日目（表面）です。 こんにちは。アソビューでデータエンジニアをしている山野です。 アソビューのデータ基盤ではこれまでBigQueryとSnowflakeの2つのDWHを利用してきましたが、 今秋よりデータ基盤をBigQueryに一本化しました。 今回はこの一本化をする上で起きた課題やどのようなステップで一本化を進めたのか共有したいと思います。 前提・背景 アソビューのデータ基盤のこれまでの変遷、そしてハイブリッド構成から一本化を決めた経緯などについては 以下のブログで書かせて頂きましたので、ご一読いただけますと幸いです。 tec…

#データ基盤#BigQuery#Google Cloud
エニグモ開発者ブログ•22日前

BigQueryのデータをAIでフィルタリング！手動→自動化→コスト最適化の3ステップ

こんにちは、AIテクノロジーグループの竹田です。 本記事は Enigmo Advent Calendar 2025 の11日目の記事です。 本稿では、BigQueryで抽出したデータに対して「金額に関する記述が含まれているか」をAIで判定する方法を、段階的に進化させながら紹介します。 この記事を書いた背景 私は元々検索システムの運用保守やMLOpsのOps周りを担当していました。 しかし、ここ最近は生成AIが実用的なツールとして利用できるようになり、業務でもAIを活用した対応が急増しています。 そんな中で直面したのが、「BigQueryで抽出した大量のテキストデータに対して、AIで判定処理を行…

#BigQuery#AI
弁護士ドットコム株式会社 Creators’ blog•1ヶ月前

Redashから脱却 - データ基盤移行を振り返る

この記事は、弁護士ドットコム Advent Calendar 2025 の 5日目の記事です。 こんにちは。クラウドサイン SRE チームの高橋と申します。 長年利用していたデータ分析ツール「Redash」の廃止に伴い、BigQuery Web コンソールや Trocco への移行対応を実施しました。 本記事では、移行の背景から移行プロセス、直面した課題とその解決策、そして学びを振り返ります。 これから同様の移行を検討している方々の参考になれば幸いです。 移行の背景 移行プロセス 1. Redash 利用状況調査・リストアップ 2. ヒアリング 3. 運用整備 4. 移行対応 5. 廃止対応 …

#SRE#BigQuery#Redash
エムスリーテックブログ•1ヶ月前

アドホック分析を「資産」に変えるアプローチ

エムスリーUnit9でプロダクトマネージャーをしている北島です。 この記事はデータ基盤チーム & Unit9（エビデンス創出プロダクトチーム） ブログリレー6日目の記事です。 私が所属するUnit9では、データプロダクトの提供やデータの社内活用を行い、データを通じた価値創出をすることをミッションとしています。そのため、日々多くの分析依頼を受けています。 アドホックな分析依頼は、その場限りの対応になりがちではないでしょうか。急ぎの案件が多かったり、依頼ごとに要望される分析ロジックが違うことなどが理由として挙げられます。ただ、単発での対応を続けると、依頼の増加とともにに担当者が対応に追われてしまう…

#BigQuery#データ分析#SQL
エムスリーテックブログ•2ヶ月前

Oracleのクエリ実行履歴を網羅的に収集するための実践的アプローチ

エムスリーエンジニアリンググループ、データ基盤チームの石塚です。 この記事はデータ基盤チーム & Unit9（エビデンス創出プロダクトチーム） ブログリレー5日目の記事です。前回は三浦さんの 「SQL課題：月の集合を連続した期間の集合にまとめてください」でした。 エムスリーが提供するサービスの中には、今も一部でオンプレミス環境のOracleを活用しているシステムがあります。私たちは、これらのシステムについてもコスト効率やメンテナンス性をさらに向上させるため、Oracleへの依存を段階的に減らしていくプロジェクトを進めています。 このプロジェクトを推進する上で、「そもそも、どのシステムがどれくら…

#Oracle#BigQuery#Tips at jobs