学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)まとめ・Alpaは標準的な専門家が設計したTransformerモデルでは最高のフレームワークに匹敵する・mixture-of-expert層を持つTransforme...
parallelization
学習手法 
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能・GSPMD...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性がな...
入門／解説 PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)
１．PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)まとめ・joblibを使用するとファイルを並列で読み込み速度アップできる・pickle形式でファイルを保存するとCSVより更に高速になる・joblibでP...