如何在 Windows 上執行本地大型語言模型（無需雲端）

在本地執行大型語言模型（LLM）意味著該模型存放在您的電腦上，您的提示語（以及您餵入的任何檔案）無需離開您的電腦。不需要雲端帳戶。不需要 API 金鑰。也沒有那種「我們會用您的資料進行訓練……大概不會……也許吧」的說法。只有您、您的電腦，以及一個能執行您所指派任何任務的模型。

所謂的「本地大型語言模型」（LLM），是指運行於您的電腦上，而非遠端伺服器上的大型語言模型。實際上，這通常意味著您需要下載模型檔案，將其載入本地應用程式中，然後像與雲端助理對話一樣與其互動，只是這裡的「伺服器」是您的個人電腦。

在本地「執行」大型語言模型（LLM），幾乎總是指推論（生成回應），而非從頭開始訓練一個全新的模型。

人們從雲端大型語言模型轉向本地大型語言模型，主要有以下幾個原因：

• 隱私權：您的提示語會保留在裝置上（只要您未使用雲端連接器）。
• 離線使用：下載模型後，您即可在無網路連線的情況下執行該模型。
• 無使用上限：無流量限制，不會出現「您已用完今日配額」的提示，也不會收到意外帳單。
• 控制權：選擇您想要的機型，您無需綁定訂閱方案。

當然，這是用便利性來換取控制權。雲端模式彷彿有魔法一般；而本地模式則彷彿是取決於你的硬體的魔法。

簡而言之：CPU 負責運算，GPU 提供輔助，記憶體至關重要。

以下是真正影響你能否玩得開心的因素：

• RAM / VRAM：較大的模型需要更多的記憶體。若記憶體不足，模型將無法運作。
• 儲存空間：模型可能體積龐大。部分資料庫會提醒，根據您下載的模型不同，模型所需的儲存空間可能達到數十至數百 GB。
• GPU：如果您的應用程式支援您的 GPU，通常會看到顯著的效能提升。

配備32GB 或以上記憶體的現代 Windows 10/11 電腦，是運行較小規模本地模型的穩固基礎；而更大的記憶體容量則能讓您更順暢地運行規模更大的模型。

LM Studio 是一款桌面應用程式，讓您能夠下載模型並在本地與它們進行對話。它還為開發者提供了一個可編程的本地 API。

Ollama 作為原生 Windows 應用程式運行，提供命令列工作流程以及本機 HTTP API 端點。它明確支援 Windows 系統上的NVIDIA 和 AMD Radeon 顯示卡。

若您希望獲得最大的控制權，lama.cpp 是一款廣受歡迎的開源推論引擎，附有建置說明及多種後端。

較大的模型需要更多的RAM 和／或 VRAM。如果記憶體不足，將會導致效能變慢、程式當機，或是不斷進行磁碟交換（這種感覺就像是電腦在糖漿中運算一樣）。

針對int4 量化模型的一項安全經驗法則：

• 8GB 記憶體 → 約 30 億個模型
  
• 16GB 記憶體 → 約 7B 模型
  
• 32GB 記憶體 → 約 13B 模型

此外，若您仰賴 GPU 加速：

• 6GB 視訊記憶體 → 約 30 億個模型
  
• 8GB 視訊記憶體 → 約 7B 模型
  
• 12GB 視訊記憶體 → 約 13B 模型

或者，如果您不想憑空猜測，也可以使用LLMfit來將模型與您的硬體規格精確匹配。

LLMfit 是一款終端工具，可偵測您的 CPU、RAM 以及 GPU/VRAM，並根據模型的適配度、預期速度、應用情境和品質對其進行排名，讓您 在下載任何模型之前，就能預先了解哪些模型能順利運行。

適用於：

• 尋找真正符合您 RAM/VRAM 限制的模型
  
• 查看建議的量化設定（以免記憶體分配過多）
  
• 獲得一份排名名單，而非那些讓人陷入「末日滑動」的範例中心

如何在此工作流程中使用它：

1. 執行 llmfit 以掃描系統硬體
   
2. 看看頂部的「適合」項目／推薦內容
   
3. 請選擇與您的機器相符的模型尺寸，然後在 LM Studio / Ollama / llama 中下載該模型

就這樣。選擇一個執行環境，下載適合您硬體的模型，然後開始下達指令吧！所有資料都存放在您的電腦上。您不需要擁有電腦科學學位、雲端訂閱服務，也不需要花費整個週末來排除故障。整個過程大約就像安裝一款遊戲一樣簡單。一旦運作起來，您就擁有一位完全按照您條件運作的私人離線 AI 助理。

如果您真心想要在 Windows 上運行本地大型語言模型（LLM），尤其是當您需要更大規模的模型、更寬廣的上下文視窗，或是更流暢的效能時，這正是 CORSAIR AI Workstation 300 (AI300) 以及 CORSAIR AI 軟體套件 將助您更上一層樓。

本地推論通常會因記憶體和吞吐量而形成瓶頸。AI300 的設計正是基於這一現實：

• 一款專為本地 AI 工作流程打造的緊湊型工作站
  
• 高記憶體配置，為您提供處理大型模型所需的運作空間
  
• 旨在針對 AI 應用場景進行擴展的圖形記憶體運作模式
  
• 一個硬體層級的效能選項（靜音／平衡／極速），讓您可以自行決定是追求靜音還是速度