datatech-jp Advent Calendar 2024 3日目の記事を書きます!
毎週月曜日にデータエンジニア向けのもくもく会をXで(以前は datatech-jp で)実施しており、約1年続けてみてどのような学びがあったかをまとめたいと思います。
データエンジニア向けのもくもく会を始めたきっかけ
下のブログ記事でもくもく会を始めたきっかけを簡単に書いたのですが、今日は当時の気持ちをもう少し深掘りしたいと思います。
エンジニア全般だと思うのですが、学び続けないとトレンドに置いて行かれてしまうという危機感はみなさんお持ちだと思います。私もそのような一人なのですが、ここ数年はどうも夢中になれる技術というのがなくて、漠然とした焦りのようなものがありました。
新卒社員として働き始めた頃は、分散処理技術の Hadoop というのがあるらしいと知り、先輩たちと一緒に勉強したり論文を読んだり、未知の世界で本当に楽しかったです。2社目でHadoopを使ってデータ基盤を構築・運用している会社に雇ってもらいましたが、そこでも論文の輪読会が盛んでした。難解なものも多かったですし、データ基盤というプロダクトの性質から難しい立ち回りが求められることも多かったですが、同僚や先輩と議論を重ねてシステム開発していくのは、十数年の社会人生活で一番大切な経験として記憶に残っています。
その後、技術トレンドも変化してクラウドDWHが主流になり、一般ユーザにとって Hadoop, Sparkのような分散技術は裏で利用される意識しなくて良いレイヤーになりました。技術自体というよりは、さまざまなツールやサービスを組み合わせてどう課題解決に使うか、という本来エンジニアが課されるべき領域にやっとデータ基盤の技術が追いついたというべきでしょうか。喜ばしいことだと思います。
もくもく会を立ち上げた当初、私はテック系コンサルで勤めており、議論というよりは目の前の課題やタスクをどうこなすかが問われていました。データエンジニアとしては一人でプロジェクトにアサインされることもあり、ダイレクトに技術力と課題解決が求められる環境で緊張感がありました。これはこれで技術研鑽にはよい環境でしたが、私はエンジニア同士が議論し合って良いシステムを作り上げていくのが好きなんだと再確認できました。
他のデータエンジニアとの交流を増やし、学習時間も継続性のある形で確保できないかと思って立ち上げたのが、データエンジニア向けのもくもく会でした。システムを議論しながら作り上げていくというのは転職で事業会社に戻る形で追い求める形となりましたが、これはまた別の機会に話します。
もくもく会の目的
参加者に自己学習していただきながら、副次的に他のデータエンジニアと交流することを目的としました。
もくもく会の運営は、以下の点に気をつけて実施しています:
- テーマをデータエンジニアリングに限定して、ディスカッションしやすくする
- 継続的に実施する
- 数回やるだけなんて誰でもできる、なんでもいいから続けなさいと最初の会社で先輩に教えてもらったことを実践しています。
- 作業集中する時間と、交流する時間を分ける
- Zoomなどで繋ぎながらもくもく会されている方もいましたが、私はどうしても他の方の挙動が気になってしまうので、作業時間・共有時間を明確に分けました。
約1年続けてみて
2024年1月から続けて約1年ほどになりました。時間にして大体50時間ぐらいでしょうか。どのような気付き、学びがあったかを書き出してみます。
積ん読消化ができた
分かりやすいところでは積ん読が何冊か消化ができました。
私は技術書を読み始めるまでが腰が重いタイプなので、もくもく会でとりあえず読み始めることができたのはとても良かったです。本の雰囲気が分かれば読むペースが上がったり、気になるところだけつまみ読みするなど、本に適した読み方ができました。
もくもく会中に読んだ本です。どれももくもく会中に全て読んだわけではなく、読み始めるきっかけにしたり、輪読会の準備のために読んだりしていました:
- SQLアンチパターン
- つくって、壊して、直して学ぶ Kubernetes入門
- Driving Data Quality with Data Contracts
- DATA is BOSS 収益が上がり続けるデータドリブン経営入門
- データモデリングでドメインを駆動する
- Agile Data Warehouse Design
技術検証ができた
転職してからは扱うツールがガラッと変わったので、キャッチアップも兼ねてもくもく会でツールの検証をしたりしていました:
- Great Expectations
- Prefect, ControlFlow
- Airbyte
- Dify
- OpenMetadata
- dbt
書き出してみると業務で使っているツールがほとんどなので、今後は業務で触れていないツールなども触ってみる時間にしたいですが、業務中に間に合わなかった検証作業もできたりしたので有意義な時間でした。
社外の方とコミュニケーションができる
もくもく会を始める前はどんな方が来るのか、私が会を取り仕切ることは出来るのかと少し不安はありましたが、杞憂でした。
参加いただいている方はみなさん親切で、もくもく会で取り上げられたトピックに対して質問したり教えあったりすることができました。読まれている本の共有や技術検証の内容、社内でどういったデータに関する取り組みをされているのかなど、毎回いろんな話が交わされていました。
基本的には私含めて3人程度(多くて4人ぐらい)の日が多く、この程度であれば一人一人が話したり質問する時間も十分取れたかなと思います。もくもく会という形なので各自が取り組んだことをベースに話す形式も気後れせずに話せるので良かったです。
結果的に分かったことですが、「同じ職種の人でもくもく会をする」というのがよいアイデアだったように思えます。じぶんの作業だけでなく、他の人の取り組みも身近なテーマに感じられ、30分の共有時間がディスカッションに発展することも多かったです。仕事上の悩みなども話したりして、ゆるく繋がっている感覚が私は好きでした。
謝辞
立ち上げ当初は datatech-jp で syou6162 さんにも相談し、アドバイスをいただきました。いつもありがとうございます!
よく来てくれる方もいらっしゃって、私自身も勉強の励みになっています。いつも本当にありがとうございます!
来年も同じペースで続けてみようかと思っています。だいたい毎週月曜日19:00からXで行っていますので、もしご興味ある方は気軽にご参加ください。私の Xアカウントhttps://x.com/tendon0 か、ハッシュタグ #de_mokumoku_study を確認してください。