如何在您的系统上部署本地大型语言模型

在自己的电脑上运行大型语言模型（LLM）听起来可能让人望而生畏，但实际上却出乎意料地简单。所谓“本地 LLM”，就是指该人工智能直接在您的硬件上运行——无需云端，无需账户，您的数据也始终由您掌控。您可以将其用于私人的头脑风暴、代码协助以及文档问答，且全程无需将任何内容上传至网络。如果这听起来很不错，那就让我们带您从零开始，完成第一个提示词的输入吧。

目前最适合初学者的选择是 Ollama，这是一款免费的应用程序，只需一行命令即可下载并运行大量开源模型（它现在已推出 Windows 和 macOS 桌面版，因此您无需一直待在终端里）。

如果您更喜欢一种更具视觉效果的一站式体验， LM Studio （同样免费）是发现、运行和管理本地模型的另一个绝佳选择。Open WebUI是一款轻量级的自托管聊天界面，可与 Ollama 配合使用。您可以任选其一，也可以自由组合搭配。

• 操作系统：Windows 10/11、macOS 或 Linux（下文将以 Windows 为例进行说明）。
• 内存与存储：对于7–13B参数的模型，16–32GB内存已足够流畅；更大的内存有助于处理更长的上下文。请在SSD上预留数十GB的可用空间，用于存放模型和缓存。
• GPU（可选但很有帮助）：现代 GPU 可以加快处理速度，并支持运行更大的模型。在 Windows 系统上，Ollama 支持 GPU 加速，并提供了针对 AMD 优化的版本

• 安装 Ollama
  • 从 Ollama 下载 Windows 安装程序，或通过 Winget 安装：“winget install --id Ollama.Ollama”

安装完成后，您将同时拥有Ollama 应用程序（图形界面）和命令行工具

• 启动并验证
  • 打开 Ollama 桌面应用，如果系统提示，请登录（本地使用无需云服务）。
  • 或者通过命令行界面（CLI）进行验证：“ollama --version”。（您将看到一个版本号。）

• 选择一个入门模型
  • 在应用中浏览并下载一个模型。或者在终端中输入：“ollama run llama3:8b”
  • “这将下载该模型，并带您进入提示框——输入问题即可开始。您可以在Ollama 库中浏览多种模型（Gemma、Llama、Qwen、OLMo 等）。”
    

• （可选）启用 GPU 加速
  • 请保持显卡驱动程序最新。Ollama 提供了支持 AMD 加速的 Windows 版本，AMD 也文档中详细说明了在 Radeon 显卡上运行大型语言模型（LLM）的 DirectML/ROCm 实现路径。在 Ollama 应用中，请确认系统已检测到 GPU（或在生成过程中通过“任务管理器”查看 GPU 使用情况）。

• “小巧且响应迅速”： gemma3:1b或llama3:8b适合快速回复和低端硬件。
• “均衡型”：7B–13B模型（例如olmo2:7b、llama3:8b instruct）在通用场景下表现稳定。
• “更强大的模型”：200亿参数以上的模型（例如gpt-oss:20b、更大规模的 Llama 变体）需要更多的 RAM/VRAM 和耐心，但在处理更复杂的任务时表现尤为出色。您可以在应用中直接调用这些模型，或通过 ollama run <model> 命令调用。

• 上下文长度：长不一定就好。过长的上下文（例如 32k-64k 个令牌）可能会大幅降低生成速度。建议从4k–8k 开始，仅在必要时再增加。
• 量化：大多数应用程序提供的模型都已预先进行了量化，这有助于将更大的模型适配到有限的VRAM中。
• 存储：请将模型保存在固态硬盘（SSD）上；如果使用机械硬盘（HDD），运行会显得很卡。
• 驱动程序：请定期更新 GPU 驱动程序和应用程序，本地 AI 技术正在迅速发展。

如果您不想费心逐件组装，而是想要一台开箱即用、支持本地大型语言模型（LLM）的紧凑型静音台式机，那么 CORSAIR AI WORKSTATION 300 能满足创作者和开发者的诸多需求：

• CPU/GPU/NPU：AMDRyzen™ AI Max+ 395、Radeon™ 8060S 集成显卡（最高 96GB 显存）、XDNA 2 NPU（最高 50 TOPS）
• 内存与存储：128GB LPDDR5X‑8000，4TB NVMe（2TB+2TB）
• 操作系统：Windows 11 家庭版
• 设计：4.4L 小型机箱，配备双风扇散热系统和性能等级选择器
  

Radeon 集成显卡上那“最高 96GB 的显存”与 Windows 工具的配合尤为默契，这些工具能够为 GPU 分配大量共享内存，在需要处理更大规模的本地模型和更长的上下文时非常实用。这为本地 AI 开发提供了一条简洁、紧凑的途径，同时又不牺牲处理能力。

不。您可以在仅配备CPU的系统上运行较小的模型，不过响应速度会较慢。配备大容量共享内存的现代GPU或高级APU可以提高运行速度，并让您能够使用更大规模的模型。

是的。使用 Ollama 或 LM Studio 等本地工具时，提示词和数据默认会保存在您的设备上。（您添加的集成可能行为不同，请务必检查设置。）

Ollama 库列出了流行且最新的选项（如 Llama、Gemma、Qwen、OLMo 等）。每个模型页面都显示了参数大小和示例命令。

该产品专为本地大型语言模型（LLM）设计，配备128GB内存和 一枚iGPU，该iGPU可访问高达96GB的显存，为高级本地工作负载和长上下文提供了出色的性能余量，尤其是在AMD的Windows驱动程序扩展了对大容量内存分配的支持之后。实际吞吐量取决于模型大小、量化程度和设置。