DBT: Dealectical Behavior Therapy →弁証法的行動療法
この記事は10X 新春ブログリレー 2026の1月13日分の記事です。 はじめに こんにちは。10Xでソフトウェアエンジニアをしていますjojo(@joj0hq)です。 2025年4月にチームが合併し、それまで触れてこなかった商品データパイプライン（ETL処理をdbtで実装）の開発に携わるようになりました。チーム合併の詳細については、EMのfutaboooさんが書かれた以下の記事をご覧ください。 10x.co.jp 新しい技術領域に触れる中で、バージョン管理の運用負荷という課題が明らかになってきました。本記事では、十数パートナーに対する共通パッケージのバージョンアップ作業を自動化し、開発効率を…
2026年のイベント出店参加はアクアリウムバスから。1月11日（日）のアクアリウムバスに出店参加いたします。 ◇2026年最初のイベント出店参加 イベント名：アクアリウムバス 日 時 ：2026年1月11日 10:30～17:00 場 所 ：東京都立産業貿易センター台東館 出 店 名：爬虫類・両生類オフ会 ※当日の状態で連れていかない生体もいます。 ◇本日(1/7)入荷した生体 ・レッドベリー T＋アルビノ ・クジャクガメ T＋アルビノ パラドクスアルビノは大好きなのですが、アカミミガメが条件付き特定外来になって、アルビノ飼育は諦めていた部分があります。（アルビノオルナータは諦めていません）た…
この記事は dbt Advent Calendar 2025 の16日目の記事です。 Data Management チームの森岡です。要らなくなったものをすぐに捨てられるデータ基盤を意識して日々開発しています。 この記事では、CADDi における SQL レビューを効率化するための CI の実践知について紹介します。 はじめに 生成 AI の台頭により、データエンジニアリングは大きく変わりつつあります。 CADDi では、AI エージェント「Devin」を Slack ワークフローに組み込むことで、Biz 職のメンバーでも自律的に dbt model の作成・修正が行える環境を構築しています…
前回の記事ではSnowflakeとdbt Cloudの無料枠を使って環境の構築を行いました。今回の記事では、dbtの機能を使い実際の開発を行っていきたいと思います。 www.hanatare-papa.jp 記事のポイント dbtの基本的な開発サイクル（モデル作成 → テスト → ドキュメント生成）を体験する。 dbtのコア機能であるref()を使い、SQLの依存関係を管理する。 作成したデータ変換処理をdbt Cloudのジョブ機能で自動化する。 dbt Cloud IDEを操作する 開発準備 プロジェクトの初期化 初期コミット 補足 dbtモデルを構築する Sourceの定義 Stagin…
生成AIの台頭によって、エンジニアに求められるスキルは、生成AIを含む様々なアプリケーションをインテグレートさせてクライアントの業務を実現させるための力が求められいるように感じます。その中で、個人的にデータインテグレーションはよりその重要度を増してきています。こうしたデータ分析基盤を作るという分野に興味を持たれている方も増えてきているのではないかなと思います。ただ、一方でこうしたことを学ぶための環境は、限られていて一個人では様々なサービスを使うことは難しかったりします。そういった中で、今回は、可能な限り無料で利用できるサービスを使い、データ変換パイプラインの構築を行っていきたいと思います。 少…
はじめに CARTA HOLDINGSのfluctでデータエンジニアをやっているyanyanです。先日のSnowflake Summit 2025ではsnowflakeの新しい機能がたくさん発表されました。今回はその中のGeneration 2 Standard Warehouse (以降Gen2と表記します。) が東京リージョンでGAしていたので早速試してみました。 この記事では、fluctが取り扱っている本番の広告配信データを利用したdbtによるデータ加工でGen1とGen2の性能比較を行いました。結果的にクエリの実行時間が約39%削減され、クエリの実行時間がウェアハウスの消費クレジット量…
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もうすぐクリスマスですね。最近、何度か娘に「サンタさんへお願いしたもの」をヒアリングしているのですが、私には秘密みたいで、サンタさんから委託された業務を全うできないかもしれず、ヒヤヒヤする日々を過ごしています。 さて、本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestio…
この記事は dbt Advent Calendar 2024 の15日目の記事です。 Data Management チームの森岡です。 スプレッドシート便利ですよね。スプレッドシートをデータソースとして、BigQuery に取り込んでいるケースも多いと思います。ただ、スプレッドシートを外部テーブルとして BigQuery に取り組むとき、Google Cloud のコンソールで操作するの面倒じゃないですか。 シートの範囲を間違えたり、カラム名がイマイチで作り直したら、今度は「あれ？ヘッダー行のスキップ指定、忘れてた...」となってやり直しになること、ありますよね？ 今回は、そういった煩わしさ…
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もう年の瀬ですが、皆さんはこの一年どんな年だったでしょうか？私はSnowflake一色の一年でした。データ基盤の主要技術をBigQueryからSnowflakeへ移管するプロジェクトの推進を行い、その間Snowflakeを学び、発信し、Snowfalke九州ユーザーグループの立ち上げも行いました。 findy-tools.io techplay.jp また、Snowflake Squadへ選出され、Snowflakeﾁｮｯﾄﾜｶﾙ人材認定もされました。 developerbadges.snowflake.…
目次 はじめに 1. ドコモにおける顧客分析の難しさとCX分析基盤 2. CX分析基盤を運用するときの課題 2.1. 基盤運用で発生する問題について 2.2. リカバリ対応が困難な問題 2.3. ドキュメント修正が煩雑な問題 2.4. 取り組むべき2つの課題 3. 課題に対するソリューション（= dbt導入） 3.1. dbtとは？ 3.2. 課題に対する考え方・実装方針 3.3. 実装 4. 実際の活用 4.1. リカバリに係る稼働とコンピューティング費用削減 4.2. ドキュメント開発環境構築 4.3. よく使うコマンド集 5. まとめ 使用ソフトウェア一覧 環境 言語・フレームワーク バ…
www.yasuhisay.info
buildup-db.blogspot.com
www.m3tech.blog
techblog.zozo.com
tech.high-link.co.jp
zenn.dev
zenn.dev
www.yasuhisay.info
speakerdeck.com
