如何在 Windows 上运行本地 LLM（无需云服务）

在本地运行大型语言模型（LLM）意味着该模型存储在你的电脑上，你的提示词（以及你输入的任何文件）无需离开你的设备。无需云账户，无需API密钥，也没有“我们会用你的数据进行训练……可能不会……也许吧”之类的情况。只有你、你的电脑，以及一个能完成你交给它的任何任务的模型。

本地大型语言模型（LLM）是指在您的计算机上运行，而非在远程服务器上运行的大型语言模型。实际上，这通常意味着您需要下载模型文件，将其加载到本地应用程序中，然后像与云端助手聊天一样与之对话，只不过这里的“服务器”是您的电脑。

在本地“运行”一个大型语言模型（LLM）几乎总是指推理（生成响应），而不是从头开始训练一个全新的模型。

人们从云端大型语言模型（LLM）转向本地大型语言模型（LLM）主要有以下几个原因：

• 隐私：您的提示词将保存在设备上（只要您未使用云连接器）。
• 离线使用：下载模型后，无需网络即可运行。
• 无使用上限：无速率限制，不会出现“您已用完今日配额”的提示，也不会收到意外账单。
• 控制：选择您想要的机型，无需绑定订阅服务。

当然，你是在用便利换取控制权。云模式让人感觉像魔法一样；而本地模式则让人感觉像是一种取决于硬件的魔法。

简而言之：CPU是核心，GPU起辅助作用，内存至关重要。

以下这些因素实际上会影响你是否能玩得开心：

• RAM / VRAM：模型越大，需要的内存就越多。如果内存不足，模型将无法运行。
• 存储：模型可能体积庞大。一些库会提示，根据您下载的模型不同，模型的存储空间可能达到数十至数百 GB。
• GPU：如果您的应用支持您的 GPU，通常会看到显著的性能提升。

一台配备32GB 及以上内存的现代 Windows 10/11 计算机是运行小型本地模型的可靠基础，而更大的内存则能让你更流畅地运行大型模型。

LM Studio 是一款桌面应用程序，可让您下载模型并在本地与它们进行对话。它还为开发者提供了一个可编程的本地 API。

Ollama 作为原生 Windows 应用程序运行，为您提供命令行工作流以及本地 HTTP API 端点。它明确支持 Windows 平台上的NVIDIA 和 AMD Radeon GPU。

如果你想要最大的控制权，lama.cpp 是一个广受欢迎的开源推理引擎，它提供了构建指南和多种后端。

更大的模型需要更多的内存和/或显存。如果内存不足，会导致性能变慢、程序崩溃，或者频繁进行磁盘交换（这会让人感觉电脑像是在糖浆里思考一样慢）。

针对int4 量化模型的一个安全经验法则：

• 8GB 内存 → 约 30 亿个模型
  
• 16GB 内存 → ~7B 模型
  
• 32GB 内存 → ~13B 模型

如果你依赖 GPU 加速的话：

• 6GB 显存 → ~3B 模型
  
• 8GB 显存 → ~7B 模型
  
• 12GB 显存 → ~13B 模型

或者，如果你不想凭空猜测，可以使用LLMfit根据你的具体硬件来匹配相应的模型。

LLMfit 是一款终端工具，它能检测您的 CPU、内存和 GPU/显存，然后根据适配度、预期速度、上下文和质量对模型进行排序，让您 在下载任何内容之前就能了解哪些模型运行效果良好。

适用场景：

• 寻找真正符合您的 RAM/VRAM 限制的模型
  
• 查看推荐的量化级别（以免内存分配过多）
  
• 获得一份按排名排序的候选名单，而不是那些让人陷入“末日滚动”的模型中心

如何在此工作流中使用它：

1. 运行 llmfit 来扫描系统硬件
   
2. 查看顶部的“推荐”/建议
   
3. 选择与您的机器匹配的模型尺寸，然后在 LM Studio / Ollama / llama 中下载该模型

就这么简单。选择一个运行环境，下载适合您硬件的模型，然后开始输入提示词吧！所有数据都保存在您的设备上。您无需拥有计算机科学学位，无需订阅云服务，也不需要花整个周末来排查故障。整个过程耗时大约相当于安装一款游戏。一旦运行起来，您就拥有了一个完全按照您意愿工作的私有离线AI助手。

如果您真的打算在 Windows 上运行本地 LLM（尤其是希望使用更大规模的模型、更宽的上下文窗口或更流畅的性能），那么这就是您的最佳选择 CORSAIR AI Workstation 300 (AI300) 以及 CORSAIR AI 软件套件 将助您更上一层楼。

本地推理通常在内存和吞吐量方面存在瓶颈。AI300的设计正是基于这一现实：

• 一款专为本地人工智能工作流打造的紧凑型工作站
  
• 大内存配置，为您运行更大规模的模型提供充足空间
  
• 旨在根据人工智能用例进行扩展的图形内存行为
  
• 一个硬件级性能选择器（静音/平衡/极致），供您选择是追求静音还是速度