再见llama.cpp和ollama，mlx-community 开源 Llama-3.3-70B-Instruct-4bit

信赖很多利用 Mac 盘算机的人都由于没有 Nvidia 显卡而无法体验到 Meta 最新的 Llama-3.3-70B-Instruct 而困扰。多数还在安装 ollama 和 llama.cpp 通过 gguf 来体验 Llama-3.3-70B-Instruct 的神奇。现在 mlx 社区开源了 Llama-3.3-70B-Instruct-4bit ，这是通过 mlx-llm 的方式来运行的。

什么是mlx？

MLX 是 Apple Machine Learning Research 为 Apple silicon 提供的模子训练和服务框架，它包罗多种示例：

  

• 利用 MLX-LM 天生文本，利用 MLX-LM 为 GGUF 格式的模子天生文本；  
  
• 利用 LLaMA 天生大规模文本；利用 LoRA 举行微调；  
  
• 利用 Stable Diffusion 天生图像；  
  
• 利用 OpenAI 的 Whisper 举行语音辨认。
  

利用

1. pip install mlx-lm

复制代码

1. from mlx_lm import load, generate
3. model, tokenizer

复制代码