只讨论Windows系统的相关工具。
Ollama存在性能问题，并且支持的模型有限。尽管可以直接运行HF上的GGUF，但是如果需要自定义一些内容还是得写Modelfile，不是很方便。并且在有相关PR的情况下也一直没有支持rerank类模型。因此有没有其他可以替代Ollama的工具用于本地运行LLM。
如果将这类工具分为两类，那么更倾向于LM Studio这样的一键安装且带GUI的软件，可以方便配置。而像vLLM这样的软件包配置比较繁琐，并且它们原本是为Linux设计，在Windows上可能有依赖缺失，导致安装维护更麻烦。
PS：不用LM Studio是因为它不开源。
感觉要上三色图了 
还是 Ollama 吧，写个 Modelfile 又不困难 
至于 Rerank，用 docker 跑一个 tei 吧
更倾向于原生，之前用了WSL安装这些东西，最后还是弃了。
业界还没有很完美的解决方案么
Ollama 已经是简单中的简单了
Windows 本来也不适合做 LLM 推理部署，针对个人使用，小参数模型，市场太窄了，无利可图啊
要不折磨一下自己 自己来
这两个项目不是寄生都是原创。不理解佬说的原生怎么理解呢？
针对 OS 的原生的应用，vLLM 和 SGLang 需要 Python 环境，算不上原生
哦，这样啊~那就docker搞定呗
Windows 环境，会被坑死的
LM studio不也挺好的吗？如果是MacBook的话更好
不要ollama
不要自己装环境
还得考虑性能
这真有点三色图的套路了 
个人隐私需求很小众 
还是 Ollama 吧
Rerank 用 docker 跑个 tei
之前我试过Windows的Python里直接装Xinference，依赖解决的头疼。
Windows 本来就不适合，搞环境就是麻烦，直接 docker 跑会省事点
直接用llama.cpp
歪个楼，求教小 hf 上的模型怎么转成 gguf 格式