如何在您的系統上設定本機大型語言模型 (LLM)

在自己的個人電腦上運行大型語言模型（LLM）聽起來可能令人卻步，但實際上卻出乎意料地容易上手。所謂「本地 LLM」， simply means 指的正是這套 AI 直接在您的硬體上運行——無需雲端、無需帳號，且您的資料完全由您掌控。想像一下：私人的腦力激盪、程式碼協助以及文件問答，所有這些都不需要將任何資料傳送至網路上。如果這聽起來很吸引人，那就讓我們帶您從零開始，邁向第一個提示語吧。

目前最適合初學者的選擇是 Ollama，這是一款免費應用程式，只需一行指令即可下載並執行大量開放式模型（現在已推出 Windows 與 macOS 桌面應用程式，因此您無需一直待在終端機前）。

如果您偏好更具視覺效果的一站式體驗， LM Studio （同樣免費）則是探索、執行及管理本地模型的另一項絕佳選擇。Open WebUI是一款輕量級、可自行架設的聊天介面，可建構於 Ollama 之上。您可以任選其一，或自由搭配組合。

• 作業系統：Windows 10/11、macOS 或 Linux（以下將以 Windows 為例進行說明）。
• 記憶體與儲存空間：16–32GB 記憶體足以流暢運行 7–13B 參數的模型；記憶體容量越大，處理更大規模的上下文時越有利。請在 SSD 上預留數十 GB 的可用空間，以存放模型和快取資料。
• GPU（非必要但有助於提升效能）：現代的 GPU 能加快處理速度，並讓您執行規模更大的模型。在 Windows 系統上，Ollama 支援 GPU 加速，並提供針對 AMD 優化的版本

• 安裝 Ollama
  • 請從 Ollama 下載 Windows 安裝程式，或透過 Winget 進行安裝：「winget install --id Ollama.Ollama」

安裝完成後，您將同時擁有Ollama 應用程式（GUI）和命令列工具

• 啟動並驗證
  • 開啟 Ollama 桌面應用程式，並在系統提示時登入（若僅用於本機，則無需雲端服務）。
  • 或者驗證 CLI："ollama --version"。（您將看到版本號。）

• 選取一個入門型號
  • 在應用程式中，瀏覽並下載一個模型。或者在終端機中輸入：「ollama run llama3:8b」
  • 「這會下載該模型，並將您帶入提示框——輸入問題即可開始。您可以在Ollama 庫中瀏覽多種模型（Gemma、Llama、Qwen、OLMo 等）。」
    

• (可選) 啟用 GPU 加速
  • 請保持您的顯示卡驅動程式為最新版本。Ollama提供支援 AMD 加速功能的 Windows 版本，且 AMD 已針對 Radeon 上的大型語言模型（LLM）提供 DirectML/ROCm 實作方案。在 Ollama 應用程式中，請確認系統已偵測到 GPU（或在生成過程中透過「工作管理員」觀察 GPU 使用率）。

• 「小巧且反應靈敏」： gemma3:1b或llama3:8b適合快速回覆，且適用於低階硬體。
• 「均衡型」：7B–13B 模型（例如olmo2:7b、llama3:8b instruct）在一般用途上表現穩健。
• 「更強大的大腦」：200 億以上參數的模型（例如gpt-oss:20b、較大型的 Llama 變體）需要更多的 RAM/VRAM 以及耐心，但在處理更具挑戰性的任務時表現出色。您可以在應用程式中直接調用這些模型，或透過 ollama run <model> 來調用。

• 上下文長度：較長不一定更好。過大的上下文（例如 32k–64k 個標記）可能會大幅降低生成速度。建議先從4k–8k 開始，並僅在必要時才增加長度。
• 量化：大多數應用程式提供的模型都已預先進行量化，方便您將較大的模型塞進有限的 VRAM 中。
• 儲存：請將模型儲存於 SSD 上；若使用 HDD，運作速度會顯得遲緩。
• 驅動程式：請定期更新 GPU 驅動程式和應用程式，因為本地 AI 技術正迅速發展。

如果您希望跳過零散組裝的過程，並想要一台開箱即用、能支援本地大型語言模型（LLM）的緊湊型靜音桌上型電腦，那麼 CORSAIR AI WORKSTATION 300 能滿足創作者與開發者的多項需求：

• CPU/GPU/NPU：AMDRyzen™ AI Max+ 395、Radeon™ 8060S 內建顯示卡（最高 96GB 視訊記憶體）、XDNA 2 NPU（最高 50 TOPS）
• 記憶體與儲存空間：128GB LPDDR5X‑8000、4TB NVMe（2TB+2TB）
• 作業系統：Windows 11 家庭版
• 設計：4.4 公升小型機箱，配備雙風扇散熱系統及效能等級選擇器
  

Radeon 整合式顯示卡（iGPU）上那「最高 96GB VRAM」的規格，與 Windows 工具的相容性極佳，這些工具能為 GPU 分配大量共享記憶體，在需要處理較大的本地模型或更長的上下文時，這點非常實用。這是一條簡潔且精巧的途徑，讓您能投入本地 AI 開發，同時不犧牲處理能力。

不。您可以在僅配備 CPU 的系統上執行較小的模型，但回應速度會較慢。配備大容量共用記憶體的現代 GPU 或進階 APU，不僅能提升速度，還能讓您使用規模更大的模型。

是的。使用 Ollama 或 LM Studio 等本地工具時，提示詞和資料預設會保留在您的裝置上。（您新增的整合功能可能有不同的運作方式，請務必檢查設定。）

Ollama 資料庫列出了熱門且最新的選項（例如 Llama、Gemma、Qwen、OLMo 等）。每個模型頁面皆顯示了參數大小及範例指令。

此方案專為本地大型語言模型（LLM）設計，配備128GB 記憶體及一顆可存取高達 96GB 視訊記憶體（VRAM）的 iGPU，為進階本地工作負載及長上下文提供卓越的擴充空間，尤其隨著 AMD 的 Windows 驅動程式逐步擴展對大容量記憶體分配的支持，此優勢更顯著。實際吞吐量取決於模型大小、量化程度及設定。