AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)まとめ・最近のMLPerfのコンペでは、TPUs v4が5つのベンチマークで新記録を達成し、2位に比べて平均1.42倍の差をつけた・プラットフ...
efficientnet
AI関連その他 
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)まとめ・CAP12に基づくモデルは8つのパラ言語タスクの5つでタスク特化モデルよりも優れている・CAP12をスマートフォンで使えるようにするため知識蒸留を使用して既存モ...
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)まとめ・分離モデルには過剰分離や文脈の喪失などの潜在的な問題が存在している事はわかっている・分離されたチャンネルとオリジナルの音声を使って分類する事で最良の結果を得てい...
基礎理論 モデルのアンサンブルは貴方が思っているよりも凄い(2/2)
１．モデルのアンサンブルは貴方が思っているよりも凄い(2/2)まとめ・モデルカスケードはアンサンブルの早期終了を可能にするため計算量を節約できる場合がある・カスケードは調査した全ケースで単一モデルよりも優れた性能を示し速度や精度が向上・畳み...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(3/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(3/3)まとめ・ALIGNは風景の詳細な説明や固有地形や芸術作品などのきめ細かいレベル画像検索が可能・ALIGN embeddingsを使って演算するとパンダ...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現・微調整を行うとALIGNはBiTやViTなどのほとん...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)まとめ・文対文タスクと画像対文タスクでトレーニングされたマルチタスクモデルが最も優秀だった・文対文のトレーニングを追加すると画像対文、文対画像でパフ...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)まとめ・ニューラルネットワークの性能を調整する際はネットワークの深さや幅が調整される・しかし精度以外にこれらの違いがどのように影響するかについての理解は深...
モデル 2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける・Kaggleのコンテス...
モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)まとめ・特定の女優さんの画像や名前に反応するニューロンが人間の脳内で見つかった事がある・ネットワークで機能するので特定のニューロンが反応するのはおかしいと反論があった・...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない・LEAFは話者識別、音響シーン認識、楽器の識別、鳥...
学習手法 ニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能・スパースネットワークの...