Strata 是什么？12G 显卡跑 125B 大模型，本地部署安装使用教程

一张 12G 显存的游戏显卡，跑 1250 亿参数的大模型——还是本地、离线、免费的。

这句话在 2026 年 10 月的技术社区刷屏了。能做到这件事的项目叫 Strata，GitHub 仓库 Niko1221/Strata，目前已有 3.4 万+ Star。它把一个原本需要服务器级硬件的 125B 大模型，塞进了你我桌上的普通游戏电脑里，而且安装简单到「双击一个脚本」就能跑起来。

下面按「是什么 → 原理 → 硬件要求 → 安装 → 使用 → 实测速度 → 适合谁 → 注意事项」的顺序，一步步带你在自己的电脑上跑起来。

本文更新于 2026 年 10 月。项目迭代很快，命令与参数请以官方最新文档为准。

---

一、Strata 是什么

项目地址：https://github.com/Niko1221/Strata

一句话概括：Strata 是一个开源（MIT 协议）的 C++ 推理引擎，专门用来在你自己的电脑上运行 Qwen3.8-Flash-Next 这个 1250 亿参数的模型。它不需要联网、不需要租服务器，回答速度能达到 60–95 tokens/s（比人阅读还快）。

它提供的核心能力有四项：

1. 一键安装——Windows 和 Linux 都支持，双击一个脚本就能开始；
2. 本机 API 服务——同时暴露 OpenAI 风格的 /v1/chat/completions 和 Anthropic 风格的 /v1/messages；
3. 内置网页聊天界面——装完浏览器直接打开就能对话，还带一个实时监控面板；
4. 自带 MCP server——可以让 AI 助手直接帮你检查硬件、安装、启动和停止服务。

二、它凭什么能在 12G 显卡上跑 125B？

要理解 Strata 的价值，得先知道它跑的是什么模型。

Qwen3.8-Flash-Next 是一个混合专家模型（MoE），1250 亿参数里装着 24,576 个小专家。它每生成一个词，真正干活的只有其中大约 10 个。打个比方：像一个几万人的顾问团，团里坐满了专家，但你眼前这道题，只需要其中几位出场。

Strata 的所有设计都围着这一点转，它把整台电脑拆成三层来装：

层级	装什么
显卡（12–32 GB）	只留最常用的那约 4,000 个专家，跑核心计算
内存 + CPU（32–128 GB）	装下全部 24,576 个专家，没进显卡的部分由 CPU 接着算
固态硬盘（约 29 GB）	放一张查询表，用到才读

在这之上还有第二层优化，叫 MTP 投机解码——一个小帮手先猜出后面几个词，大模型一次性核对，猜对的一起留下。答案完全一样，速度却快 1.6 到 1.8 倍（实测接受率 58%–80%）。

三、硬件要求（装之前先对一遍）

项目	要求
显卡	NVIDIA GeForce RTX 20/30/40/50 系列，或 AMD Radeon RX 7900 XT/XTX、7800 XT/7700 XT、9060 XT、9070/9070 XT、Radeon AI PRO R9700、RX 6800/6900 系列。显存 12 GB 或更多（8 GB 能跑但慢，24 GB 更舒服，最佳区间 12–24 GB）
内存	32 GB 或更多——内存大小直接决定你能跑哪个尺寸；64 GB 可运行所有档位
磁盘	约 80 GB 空闲空间，尽量用 SSD（首次启动明显更快），预留 150 GB 更从容
系统	Windows 10/11 或 Linux（没有 Mac 版），以及 NVIDIA 或 AMD 的现行驱动
其他	CPU 需支持 AVX2；NVIDIA 驱动版本 580+（CUDA 13.0）；AMD 需对应 gfx 架构

除了显卡驱动，其余依赖（Python、推理引擎、模型文件）全部由安装器自动处理，这是这个项目最省心的地方。两张或三张显卡可以共享同一个模型，细节见官方 docs/MULTI_GPU.md。

四、下载与安装：两种方式

方式一：让 AI 助手代劳（最省事）

如果你在用 Claude Code、Cursor、Codex、GitHub Copilot 这类 AI 编码助手，直接把下面这句话贴给它：

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

助手会检查你的显卡、内存和磁盘，选出能装下的模型，完成安装、启动，并告诉你如何接入自己的应用。这套流程的规范写在 docs/AI_SETUP.md 里，其中有几条硬性要求值得知道：

• 永远不要在没有 API key 的情况下把服务暴露到本机以外（对外必须 --host 0.0.0.0 配 --api-key）；
• 下载约 70 GB 前需先征得你的同意；
• 安装可中断、可续传；
• 启动服务时用 --no-start 避免阻塞终端；
• 最后通过 curl http://127.0.0.1:8080/health 验证模型加载完成。

方式二：手动安装

第 1 步：从 GitHub 下载 ZIP 解压，或者克隆仓库：

git clone https://github.com/Niko1221/Strata.git

第 2 步：运行安装入口——

• Windows：双击 START-HERE.bat；
• Linux：在 Strata 目录下运行 ./setup.sh。

第 3 步：按提示回答四个问题——模型、尺寸、上下文长度（一次「记住」多少文本）、是否读取图片。每个问题直接按 Enter 就能取推荐值，不确定就一路回车。

第 4 步：安装器会探测你的显卡并自动选择对应引擎（NVIDIA 走 CUDA，AMD 走 HIP），然后下载模型（约 70 GB，可中断、可断点续传）并启动服务，随后浏览器自动打开 http://127.0.0.1:8080。

再次启动：直接再跑一次 START-HERE.bat（或 ./setup.sh），30–90 秒加载完成，不会重复下载任何东西；关闭窗口即停止模型。

更新：运行 UPDATE.bat（Linux 为 ./update.sh），只更新不启动。

五、装好之后怎么用

1. 浏览器里直接聊天

打开 http://127.0.0.1:8080 就是内置的聊天页，界面上有 Chat / Monitor / About 三个标签。Monitor 面板会实时显示显存占用、功耗、磁盘读取和缓存命中率。

2. 接入编程 Agent（最实用的用法）

Strata 在本机暴露了 OpenAI 兼容接口，只要你把编程工具里的 base URL 指向本地即可，不用付任何 API 账单：

OpenAI 兼容 base URL：http://127.0.0.1:8080/v1
Anthropic 风格端点：  http://127.0.0.1:8080/v1/messages
健康检查：            http://127.0.0.1:8080/health

这样一来，Claude Code、Codex、Cursor 等编程智能体就能用一个完全本地、离线、免费的大模型来干活。

3. 通过 MCP 让 AI 助手管服务

Strata 自带一个 MCP server，AI 助手可以直接调用这些工具：

工具	作用
strata_status	查看模型是否在跑、显存内存占用、本机硬件、推荐配置
strata_models	列出所有可选模型与尺寸、下载大小、内存需求、是否适配本机
strata_install	无提问安装（后台执行），可指定模型、上下文长度、是否读图
strata_start	后台启动已安装的模型，并等待它开始应答

4. 终端客户端

服务起来之后，还可以用 chat.py 在终端里直接对话。

六、实测速度：到底有多快

官方在 RTX 5070（12 GB）+ Ryzen 5 7600 + 64 GB 内存上的实测数据：

量化档位	短对话生成	128K 上下文生成	读入提示词
Q2_0	93 tokens/s	74 tokens/s	2,170 tokens/s
IQ2_XS	79 tokens/s	63 tokens/s	2,090 tokens/s
IQ3_XXS	62 tokens/s	49 tokens/s	1,750 tokens/s
IQ3_S	53 tokens/s	46 tokens/s	1,620 tokens/s
Coder（IQ1_M）	55 tokens/s	43 tokens/s	2,180 tokens/s

几个补充说明：

• 显存越大越快——因为更多模型能装进显卡。RTX 3090（24 GB）大约能做到 100–140 tokens/s；
• 读入速度与生成速度是两个概念——「读入」指它多快消化你发过去的长文档、代码和聊天记录，一个 32K 的提示词约 15 秒读完；
• 每台电脑都不一样——官方提供 START-HERE.bat --calibrate，可以在你的机器上实测并保存合适的引擎参数。

七、按内存选档位（决策参考）

你的内存	建议
32 GB	选偏小的量化档（IQ2 系列），或直接上 Coder 版（IQ1_M）——它只需约 32 GB 内存，适合做本地代码助手
64 GB	可以跑全部档位，想要质量就选 IQ3，想要速度就选 IQ2

另外三个现成的应用场景，可以直接照搬：

• 本地代码助手：选 Coder 变体，把 IDE 里的 base URL 指向 http://127.0.0.1:8080/v1。（注意：Coder 变体在编码以外的任务上能力较弱，且只有一种量化尺寸）
• 长文档批量分析：最长可提交 128K（标准版）或 262K（Coder 版）token 的文档，读入速度超过 1,000 tokens/s。
• 离线创意生成：完全不联网，适合对隐私敏感或网络受限的场景；Swift 1.5 变体通过减少思考 token，让答案产出快 1.8 倍。

八、适合哪些人用？

九、注意事项（重点看）

1. 它只服务一个模型，别搞错预期

这是最容易踩的坑。Strata 的引擎是照着这个模型的专家结构和那张 29 GB 查询表专门做的，Llama 不行、DeepSeek 不行、Qwen 的其他尺寸也不行。如果你需要一个能跑各种模型的通用推理框架，它不合适。

2. 内存是真正的硬门槛

显存可以比官方的建议低一点，但内存不能省。而且官方也提醒：跑最高质量档位时，运行期间几乎无法同时开启其他大型程序——这台电脑基本就交给它了。

3. 首次启动会卡，是正常的

第一次启动时，PC 可能卡顿甚至无响应 1–3 分钟，因为要把 35–55 GB 载入内存并锁定。不要以为死机了，不要关窗口，等它跑完。

4. 千万别裸奔暴露服务

默认服务只监听本机（127.0.0.1），这很安全。但如果你要让局域网其他设备访问，官方明确要求：必须同时加上 --host 0.0.0.0 和 --api-key。没有鉴权就把 8080 端口开出去，等于把你家大门敞开——这是最需要警惕的一条。

5. 磁盘一定要留够

模型下载约 70 GB，装完后总共占磁盘约 87 GB（79 GB 权重 + 6.5 GB MTP 层 + 1.5 GB 运行包）。建议直接预留 150 GB，并且放在 SSD 上——首次启动速度差别明显。

6. 项目还很早期，迭代极快

这个项目 2026 年 9 月开源，短短几周内版本号发了几十次，Star 数也在快速增长。版本密说明两件事：真有人在用，而且它还在早期、会有坑，但修得快。遇到问题的正确做法是先更新（UPDATE.bat / ./update.sh），再看官方文档和 issue。

7. 算清真实成本

软件免费，但代价是电费和一块显卡。长时间跑本地大模型会让显卡持续满载、功耗和发热都很可观。如果你的用量很小，直接买 API 可能更划算；这种方案真正的价值在于隐私、离线和大用量场景。

8. 从官方渠道获取

只从官方仓库 github.com/Niko1221/Strata 获取程序，模型从官方镜像（Hugging Face / ModelScope 的 ISTA-DASLab 仓库）获取。网上流传的各种「一键整合包」「特调版」可能夹带修改或额外可执行文件，涉及本地服务和系统权限的工具，来历不明的包风险很高，建议装前核对文件来源。

十、常见问题（FAQ）

Strata 是什么？

Strata 是一个 MIT 协议开源的 C++ 推理引擎（github.com/Niko1221/Strata），专门用于在普通游戏 PC 上本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型，支持 Windows 与 Linux 一键安装，并在本机提供 OpenAI / Anthropic 兼容接口。

Strata 要收费吗？

软件完全免费开源，没有 API 账单、不需注册。真实成本是电费和你手头的那块显卡。

多少显存才能跑？

显存 8 GB 能跑但慢，12 GB 起比较舒服，24 GB 更快。官方推荐区间是 12–24 GB，同时系统内存至少 32 GB，最好 64 GB。

能跑其他模型吗？

不能。Strata 只服务 Qwen3.8-Flash-Next 这一个模型家族，Llama、DeepSeek 以及 Qwen 的其他尺寸都不支持。

Mac 能用吗？

不能，目前只支持 Windows 10/11 和 Linux，没有 Mac 版。

装完一共占多少空间？

模型下载约 70 GB，装好后约占磁盘 87 GB，建议预留 150 GB 空间并放在 SSD 上。

第一次启动电脑卡住不动，是坏了吗？

不是。首次启动需要把 35–55 GB 载入内存并锁定，可能卡顿 1–3 分钟。不要关闭窗口，等待进度跑完即可；之后每次重启只需 30–90 秒。

怎么把它接进 Claude Code 或 Cursor？

把工具的 base URL 指向本地服务即可：OpenAI 兼容地址 http://127.0.0.1:8080/v1，Anthropic 风格端点为 /v1/messages。注意要让局域网其他设备访问时，必须加 –host 0.0.0.0 和 –api-key，否则不要开放。

写在最后

Strata 真正让人在意的，不是「12G 显卡跑 125B」这个数字本身，而是它解决问题的方式：它没有去压缩模型、也没有去裁剪模型，而是把「显存不够」这个问题，重新定义成了「让 CPU、显存、固态三层同时忙起来」的调度问题。

它的边界也很坦诚——只服务一个模型、需要大内存、还在早期会有坑。但正是这种「只为一件事做到极致」的取舍，让它在一台普通游戏电脑上跑出了比服务器方案更快的长上下文生成速度。

如果你手头正好有一块 12 GB 以上的 N 卡，也一直在观望「本地大模型」这件事，Strata 是目前门槛最低的入口之一：复制仓库、双击脚本、等它下载、打开浏览器——剩下的它都替你做了。

项目地址：https://github.com/Niko1221/Strata
协议：MIT，免费开源。

---