ollama 支持 Windows on ARM 64

ARM64 Windows下安装Ollama

本次测试在UTM装的Windows 11虚拟机(ARM64位)中完成。

安装Ollama

直接双击 OllamaSetup.exe, 报错,

查代码,得知OllamaSetup.exe 是使用Inno Setup 打包,第一时间想到 Inno Setup Unpacker (一个可以解压缩由 Inno Setup 打包的 .exe 文件的工具)。

使用很简单

innounp.exe -x OllamaSetup.exe

程序会解压缩到当前目录下的{app}目录(没错,目录名带了花括号),

体验Ollama

解压缩就等于安装好了,经测试可以正常使用 其中 ollama app.exe 为运行server的应用,常驻系统托盘,

ollama.exe 为核心程序,用法如下,

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama 运行ollama服务
  create      Create a model from a Modelfile 从Modelfile创建模型
  show        Show information for a model 显示模型信息
  run         Run a model 运行模型(模型不存在,则自动下载)
  pull        Pull a model from a registry 从注册表下载模型
  push        Push a model to a registry 讲本地模型推送到注册表
  list        List models 显示本地安装了哪些模型
  cp          Copy a model 拷贝模型
  rm          Remove a model 删除模型
  help        Help about any command 帮助

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

做个测试

ollama run gemma:2b

从截屏可以看出,我是在虚拟机下完成的测试:

  • CPU:1.00 GHz ARM 64
  • 内存:4.00 GB
  • 系统:Windows 11 Pro,
  • 模型:是Google 的Gemma 2

模型推荐

  • 阿里千文(qwen:2b, qwen:7b, qwen:14b), 自己测试哪个可以跑起来。
  • Google 的gemma:2b 和gemma:7b

客户端

官方推荐open-webui

这个一般建议在Docker里运行,如果本地运行,需要准备的环境比较复杂,因为它同时依赖Python和Node.js


(macOS下的截屏)

我推荐chatbox

后记

打算写这篇文章的时候,还在想,这有意义吗? 虚拟机里跑那么慢,写完了才想起来,其实微软的Surface Pro X 就是ARM 64的,顺便搜了下,发现还是有不少品牌使用ARM 64 CPU的,比如华为, 小米,联想,华硕,Dell等。

6 个赞

这个硬件要求不低吧??

ollama 可CPU,可GPU,我是在虚拟机里测试的,速度比较慢,具体速度没有测

macOS m2 下跑Qwen 14b(4bit量化) 可以达到34token/s

1 个赞

明天做一个看看

Windows 还是得靠显卡吧

ollama 可以显卡,可以GPU,当然GPU性能好, 显卡也能用

CPU 速度会慢些, 我刚水了一贴 配置沉浸式翻译. :laughing:

提交了个PR, merge了,评论很有趣

2 个赞

From #develop:ai to #share