企业内网部署问答系统，计算节点不是越大越好。先估算模型推理需要的显存，再用实际并发和响应时间验证，才能确定预算。大模型本地知识库问答系统的计算节点配置，主要取决于模型大小、精度、上下文长度，以及高峰时有多少请求同时生成答案。
先分清哪些环节需要计算资源
一次问答通常包括问题向量化、向量检索和大模型生成。检索侧主要消耗 CPU、内存和存储读写；生成侧则更依赖显存与推理吞吐。文档量增加会影响索引体积和检索负载，但不代表模型显存也要按文档量同比增加。
如果系统只在工作时间供少量员工查询，重点是模型能否装入显存、回答速度是否可接受。若大量用户会同时提问，还要留意并发、长上下文和连续生成造成的显存占用。不要把模型参数量直接当作整机配置：模型权重之外，还需给运行框架、上下文缓存和并行请求留余量。
按模型与负载确定起步配置
| 使用阶段 | 可作为起点的节点 | 适用条件与取舍 |
|---|---|---|
| 功能验证 | 单张 24GB 显存显卡、64GB 内存、8 至 16 核 CPU | 适合测试较小的量化模型、短上下文和低并发；资源紧凑，但不能据此推断生产高峰表现。 |
| 小规模生产 | 单张 48GB 显存显卡、128GB 内存、16 至 32 核 CPU | 可为更大的模型或较多并发留出空间；是否够用仍取决于模型精度、上下文长度和推理软件。 |
| 高并发或较大模型 | 多张高显存显卡，或单张 80GB 级显存卡；128GB 以上内存 | 适合需要更大显存容量或更高处理能力的场景，成本、供电、散热和部署复杂度也会提高。 |
这些是规划起点，不是性能承诺。以常见的 7B、14B 参数模型为例，仅按 FP16 权重粗略估算，分别约需 14GB、28GB 显存空间；实际运行还要考虑额外开销。4-bit 量化通常能显著缩小权重占用，但效果、速度和答案质量受模型、量化方法及推理框架影响。显存不足时，部分计算转到 CPU 可能运行得更慢，不宜默认视为等效方案。
用一轮实测把配置落到实处
- 固定测试条件：记录候选模型、量化方式、平均输入长度、预期上下文上限，以及可接受的首字响应时间和完整回答时间。
- 准备代表性问题：选取真实业务中常见的短问句、需要引用多段资料的问题和较长输入，检查检索结果与答案质量。
- 逐级增加并发：从单用户开始，再按预计高峰逐步增加同时请求数；观察显存、内存、响应延迟和失败情况，而不是只看单次生成速度。
- 分别压测检索与生成：如果检索等待明显，检查索引、CPU 和存储；如果生成排队或显存紧张，优先调整模型、上下文上限或显卡资源。
- 留出余量后采购：以测试中最繁忙的稳定负载为依据，并预留故障恢复及使用增长空间。上线前再验证峰值时是否仍满足响应要求。
容易被忽略的资源
内存除了供系统和推理进程使用，还要承载检索服务及缓存。可先按 64GB 作为验证节点的参考，生产环境则结合并发与索引规模评估，避免多个服务争抢内存。文档和索引可放在 NVMe 固态盘以改善读取，但磁盘升级不能替代生成所需的显存。
多卡方案也不只是把显存简单相加：模型切分、显卡互联和软件支持都会影响实际效果。若单卡能满足模型与高峰负载，单卡通常更容易部署维护；只有容量或吞吐确实不足时，再评估多卡节点。
常见问题
只有 CPU 能不能部署？
可以运行部分模型，适合低负载验证或对延迟不敏感的场景；生成速度和并发能力通常受限，需用目标模型实测。
显存越大，回答一定越快吗？
不一定。更大显存能容纳更大的模型或更长上下文，但速度还受显卡计算能力、软件实现和并发调度影响。
应该先买显卡还是先选模型？
先确定候选模型、量化方式和回答质量要求，再测显存与响应表现。这样比先买设备、再压缩模型更容易控制成本。
最终，大模型本地知识库问答系统的计算节点配置，应由目标模型和实测高峰负载共同决定。先用小节点验证，再根据显存、并发和延迟瓶颈扩容，通常比一次性追求高规格更稳妥。
