llama.cppとは、 C++で実装された軽量なLLM推論エンジン。 MIT Licenseのオープンソースソフトウェア 次のバックエンドをサポートしている Backend Target devices Metal Apple Silicon BLAS All BLIS All SYCL Intel and Nvidia GPU MUSA Moore Threads GPU CUDA Nvidia GPU HIP AMD GPU ZenDNN AMD CPU Vulkan GPU CANN Ascend NPU OpenCL Adreno GPU IBM zDNN IBM Z & Linux…