柚子快報(bào)邀請碼778899分享：M2 運(yùn)行 llamafile

http://yzkb.51969.com/

安裝llamafile很簡單，進(jìn)入官網(wǎng)，按照步驟安裝運(yùn)行即可。 https://github.com/Mozilla-Ocho/llamafile

下載 llava-v1.5-7b-q4.llamafile賦予運(yùn)行權(quán)限chmod +x llava-v1.5-7b-q4.llamafile運(yùn)行 ./llava-v1.5-7b-q4.llamafile -ngl 9999 速度確實(shí)是比 ollama 快，ollama 用 qwen 1.5 7B 的模型。llamafile運(yùn)行的是LLaVA 1.5，也是 7B 模型。下次試試能不能把 qwen 模型接入。

運(yùn)行時(shí)遇到了一個問題 the cpu feature AVX was required at build time but isn’t available on this system，解決這個問題，首先用 arm64 的 shell，然后用 root 啟動 llamafile。

arch -arm64 sh

su

./llava-v1.5-7b-q4.llamafile -ngl 9999

柚子快報(bào)邀請碼778899分享：M2 運(yùn)行 llamafile

http://yzkb.51969.com/

參考文章