推論 Phi-3 與 Apple MLX 框架

什麼是 MLX 框架

MLX 是一個用於蘋果矽晶機器學習研究的陣列框架，由蘋果機器學習研究提供。

MLX 是由機器學習研究人員為機器學習研究人員設計的。該框架旨在對使用者友好，但仍能有效地訓練和部署模型。框架本身的設計在概念上也很簡單。我們的目標是讓研究人員能夠輕鬆擴展和改進 MLX，以便快速探索新想法。

蘋果 Silicon 設備中的 LLMs 可以通過 MLX 加速，並且模型可以非常方便地在本地執行。

pip install mlx-lm

python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\n你可以介紹一下你自己嗎<|end|>\n<|assistant|>"

結果 (我的環境是 Apple M1 Max,64GB) 是

python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

注意： 該模型可以通過 mlx_lm.convert 量化，預設量化為 INT4。此範例將 Phi-3-mini 量化為 INT4

模型可以通過 mlx_lm.convert 量化，預設量化為 INT4。此範例是將 Phi-3-mini 量化為 INT4。量化後，它將儲存在預設目錄 ./mlx_model 中。

我們可以從終端測試使用 MLX 量化的模型

python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

結果是

注意: 請閱讀此範例點擊此連結。