Skip to content

Latest commit

 

History

History
52 lines (29 loc) · 2.41 KB

024.UsingAppleMLXQuantifyingPhi35.md

File metadata and controls

52 lines (29 loc) · 2.41 KB

使用 Apple MLX 框架量化 Phi-3.5

MLX 是由 Apple 机器学习研究团队推出的一个专为 Apple 芯片设计的机器学习框架。

MLX 是由机器学习研究人员为机器学习研究人员设计的。该框架旨在易于使用,同时仍然高效地训练和部署模型。框架本身的设计也概念简单。我们的目标是让研究人员能够轻松扩展和改进 MLX,以便快速探索新想法。

通过 MLX,可以在 Apple Silicon 设备上加速 LLMs,模型可以非常方便地在本地运行。

现在,Apple MLX 框架支持 Phi-3.5-Instruct(Apple MLX 框架支持)、Phi-3.5-Vision(MLX-VLM 框架支持)和 Phi-3.5-MoE(Apple MLX 框架支持)的量化转换。接下来让我们尝试一下:

Phi-3.5-Instruct

python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-mini-instruct -q

Phi-3.5-Vision

python -m mlxv_lm.convert --hf-path microsoft/Phi-3.5-vision-instruct -q

Phi-3.5-MoE

python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-MoE-instruct  -q

🤖 使用 Apple MLX 的 Phi-3.5 示例

实验室 介绍 访问
🚀 实验室-介绍 Phi-3.5 Instruct 学习如何使用 Apple MLX 框架中的 Phi-3.5 Instruct 访问
🚀 实验室-介绍 Phi-3.5 Vision (图像) 学习如何使用 Apple MLX 框架中的 Phi-3.5 Vision 分析图像 访问
🚀 实验室-介绍 Phi-3.5 Vision (moE) 学习如何使用 Apple MLX 框架中的 Phi-3.5 MoE 访问

资源

  1. 了解 Apple MLX 框架 https://ml-explore.github.io/mlx/

  2. Apple MLX GitHub 仓库 https://github.com/ml-explore

  3. MLX-VLM GitHub 仓库 https://github.com/Blaizzy/mlx-vlm

免責聲明: 本文件是使用機器翻譯服務進行翻譯的。儘管我們努力確保準確性,但請注意,自動翻譯可能包含錯誤或不準確之處。應以原語言的原始文件為權威來源。對於關鍵信息,建議使用專業人工翻譯。我們對因使用本翻譯而引起的任何誤解或誤釋不承擔任何責任。