LiteLLM_QuickStart.md

使用 LiteLLM 搭配 Phi-3 模型是一個不錯的選擇，特別是如果你想將它整合到各種應用中。LiteLLM 作為一個中介軟體，可以將 API 調用轉換為與不同模型兼容的請求，包括 Phi-3。

Phi-3 是由 Microsoft 開發的小型語言模型（SLM），設計上注重高效，能夠在資源有限的機器上運行。它可以在支持 AVX 的 CPU 和僅 4 GB RAM 的環境下運行，是本地推理而不需要 GPU 的好選擇。

以下是使用 LiteLLM 搭配 Phi-3 的一些步驟：

1. 安裝 LiteLLM: 你可以使用 pip 來安裝 LiteLLM:

   pip install litellm

2. 設置環境變數: 配置你的 API 金鑰和其他必要的環境變數。

   import os
   os.environ["OPENAI_API_KEY"] = "your-api-key"

3. 進行 API 調用: 使用 LiteLLM 來調用 Phi-3 模型的 API。

   from litellm import completion
   
   response = completion(
       model="phi-3",
       messages=[{"role": "user", "content": "Hello, how are you?"}]
   )
   print(response)

4. 整合: 你可以將 LiteLLM 整合到各種平台，如 Nextcloud Assistant，讓你可以使用 Phi-3 進行文本生成和其他任務。

LLMLite 的完整代碼範例 Sample Code Notebook for LLMLite

免責聲明：此翻譯由AI模型從原文翻譯而來，可能不完全準確。請檢查輸出並進行必要的修正。