こんにちは。いーかです。 面白いニュースがありました。 思わず「それ、AIでも起きるの！？」ってなった話がある。テーマはざっくり言うと、 人間はショート動画を大量に見続けると注意力が下がるかもしれない そして同じように、AIも“低品質な短文データ”を食べ続けると性能が落ちるかもしれない というやつ。 タイトルは刺激強めだけど、問題提起としてはかなり面白い。（そして、たぶん今の時代の本質にも刺さってる。） この記事の要点（ざっくり） 記事が言っているポイントはこのへん： TikTokのようなショート動画の大量消費で、人間の注意力が下がる可能性 AIでも、SNS投稿のような短文データを継続学習させ…
先日、日本ディープラーニング協会主催（JDLA）の「CVPR2025技術報告会」にてモルフォの技術者が登壇いたしました。本記事では、当日の資料を共有するとともに、その発表内容をダイジェストでお届けします。 発表内容のダイジェスト 概要 トレンド分析 トレンド深堀り①3D再構成 トレンド深堀り②マルチモーダル トレンド深堀り③動画の認識・生成 テクニカルディープダイブ①新世代のアーキテクチャMambaの動向 テクニカルディープダイブ②NTIRE 2025 発表資料の共有 引用 発表内容のダイジェスト 概要 CVPR（The IEEE / CVF Conference on Computer Vi…
weblab.t.u-tokyo.ac.jp 条件などを簡単にまとめましたので参考にして下さい 詳細は松尾・岩澤研究室公開講座の紹介でご確認ください 募集中の講座 グローバル消費インテリジェンス寄付講座（GCI）10/7（火）開講 学生、教職員、自治体職員、公務員団体職員のみ 大規模言語モデル（LLM）基礎講座 10/1（水）開講 大規模言語モデル（LLM）の仕組みと最新動向を体系的に習得 社会人（東京大学の教職員、国家・地方公務員、研究者、スタートアップ企業の社員、メタバース工学部会員企業の社員） 〇ID登録締切 2025/8/27(水)AM10:00〇募集締切 2025/8/29(金)AM…
はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチームの藤本です。ABEJA Qwen先生にタイトルを作ってもらったら割と強いタイトルになってしまいました。 大規模言語モデル（LLM）の学習を始め、Deep Learningにおいては最適なハイパーパラ…
ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。内容的にも、知識的なもの。 今回で最後の章になる。 8章 ディープラーニング 認識精度向上について 「層数」について 「層を深くすること」の重要性 代表的なCNN 学習、推論の高速化 GPUでの高速化 分散学習での高速化 演算ビット数の削減での高速化 ディープラーニングの実用例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.…
ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。コード書くのが面倒 考え方の理解が優先で。 7章 畳み込みニューラルネットワーク 構成要素 Convolutionレイヤ Poolingレイヤ 学習結果の可視化 CNNの例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…
ゼロから作るDeep Learningの学習メモ続き。 今回はコードなしで、自分の学び・気づきのメモだけ。 6章 学習に関するテクニック 勾配の降りていき方 重みの初期化 バッチノーマライゼーション 正則化 ドロップアウト ハイパーパラメータの検証 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…
ゼロから作るDeep Learningの学習メモ続き。 5章 誤差逆伝播法 計算グラフ 各種レイヤの実装 ネットワークでの誤差逆伝播法の実装 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scratch · GitHub 5章 誤差逆伝播法 計算グラフ 厳密な数式より、計算グラフを使ったほうが分かりやすい…
ゼロから作るDeep Learningの学習メモ続き。 4章 ニューラルネットワークの学習 交差エントロピー誤差 ミニバッチ学習 微分 ニューラルネットワークでの勾配 学習の実施 python関連 ちょっとハマったこと importでやっていること リストへの要素の追加(1要素だけ) 実際に試した結果 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-jap…
ゼロから作るDeep Learning、少し進めたので、学習メモ。 GitHubでソースコードが公開されている。MITライセンス。 github.com このコードの一部を引用させていただくので、ひとまず、著作権表示と、ライセンス文書を記載しておく。 Copyright (c) 2016 Koki Saitoh ↓ ライセンスの全文 deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scratch · GitHub 3章 ニューラルネットワーク 3章 ニューラルネットワークは、前…
www.deeplearningbook.me
karaage.hatenadiary.jp
weblab.t.u-tokyo.ac.jp
kazoo04.hatenablog.com
qiita.com
speakerdeck.com
mickey24.hatenablog.com
tech.preferred.jp
christina.hatenablog.com
