8GB显存跑35B参数模型你在群里说这句话大概率会被回一句“做梦”。按“显存装模型”的思维定势来算35B模型用FP16存储大约要70GB空间8GB连零头都覆盖不了。但如果把思路从“显存装模型”换成“内存和显存混着跑”整个局面就完全不同了。我最近花了一周时间用一张RTX 4060 Ti 8GB实际跑通了35B级别的大模型Qwen2.5-32B和Yi-1.5-34B这些都是这个量级常见的开源模型从部署、实测、调优到踩坑全走了一遍这篇实录就是把整个过程和结果摊开给你看。适合手里正好有8GB显存显卡的同学也适合正在纠结要不要为此升级硬件的朋友。1. 8GB显存跑35B的可行性判断先算账再动手在敲任何命令之前先把这个事从原理上讲清楚不然操作到一半你会觉得自己在碰运气。1.1 35B模型有多大显存装不下的原因35B参数模型指的是模型有约350亿个参数。每个参数如果用一个FP16半精度浮点数占用2字节存储总大小就是350亿乘以2字节约70GB。哪怕用FP8精度存储也要约35GB。对一张8GB显存的消费级显卡来说单纯把完整模型放进显存这件事从容量上就是不可能的。这个“不可能”是很多人的第一个误区来源——他们以为跑模型 整个模型常驻显存。实际上当前主流推理框架早就不是这个玩法了模型权重可以部分放显存、部分放内存推理时由调度器统一协调。这个我们放到1.3节细说。1.2 量化让模型瘦身从70GB到20GB既然满精度装不下第一刀就是量化。量化可以理解为“给参数减肥”不是每个数字都值得用2字节或4字节去存有很多参数的精度损失对最终输出影响很小。当前GGUF格式里常用的量化档位直接决定了体重量化档位近似精度35B模型约占用FP16原始精度约70GBQ8_01字节左右/参数约35GBQ6_K6bit级别/参数约26GBQ5_K_M5bit级别/参数约22GBQ4_K_M4bit级别/参数约20GBQ3_K_M3bit级别/参数约17GB也就是说选Q4_K_M这个档位35B模型体积直接降到20GB左右。20GB依然超过8GB显存但已经不再是“遥不可及”它意味着如果用内存参与承载普通消费级电脑完全能放下。1.3 显存加内存混合推理真正的可行路线20GB的模型8GB显存装不下但你的电脑还有系统内存。主流推理框架llama.cpp的底层调度支持把模型切开一部分层放进显存GPU层一部分层留在内存CPU层推理时逐层执行。放在显存里的层跑得快留在内存里的层跑得慢整体速度取决于“慢的那部分”。这有点像流水线作业GPU负责的层像工厂里的高速自动化机器CPU负责的层像普通手工工位。自动化机器再快手工工位处理不过来整条线的节拍就被拖住了。所以严格说8GB显存跑35B不是“跑得动”和“跑不动”的二元问题而是“有多少层进GPU、多少层留CPU、整体速度能不能接受”的平衡问题。这也是我整篇实录的核心主线。2. 设备清单与35B级别的模型选型2.1 实测环境清单先交代我这边的具体硬件方便你对照判断。实测用的是显卡RTX 4060 Ti 8GB最典型的8GB消费级显卡CPUIntel i5-1340010核16线程内存DDR4 3200MHz64GB硬盘NVMe SSD 1TB系统Windows 11WSL2之外直接跑Ollama内存这里多说一句。20GB模型要常驻内存加上系统、浏览器、KV Cache的占用32GB内存属于“能跑但偏紧”64GB会更从容而且能避免模型被换到SSD上导致速度断崖式下跌。如果你只有16GB内存不建议尝试这个量级的模型老老实实跑7B到14B更现实。2.2 为什么选Qwen2.5-32B和Yi-1.5-34B“35B级别”严格来说不是一个标准参数档位市面上常见的是32B、34B这两个型号。我主要测了Qwen2.5-32B-Instruct和Yi-1.5-34B-Chat。选它们有几个原因中文能力突出不用我说大家也清楚这两个是中文开源模型里的第一梯队。Ollama官方库直接提供量化版GGUF文件拉取命令一行搞定不用自己手动转格式。社区生态成熟网上搜到的问题基本都有解。如果换成Llama 3 35B或者Mistral系也能跑但对中文任务的表现通常要打个折而且部分模型的量化包没有Qwen和Yi这么全。所以我的建议是中文场景先优先考虑Qwen2.5系列。2.3 量化档位选择原则选档位有个核心原则Q4_K_M是实用底线Q5_K_M是品质优先Q8以上除非你显存巨大否则别碰。在8GB显卡上我最终锁定了Q4_K_M。理由如下Q3系列文件更小但生成的文本容易逻辑断裂、细节丢失问答场景尤其明显。Q5_K_M文件大约22GB内存占用更大留给KV Cache和系统的余量更少速度会更慢。Q4_K_M在速度和生成质量之间是最佳平衡点。现代量化算法下Q4_K_M的输出质量相比FP16损失很小大多数场景能保持在90%以上的可用度。如果你只有32GB内存我甚至更建议尝试Q3_K_M或Q4_0这两个文件更小系统更不容易崩。3. 部署实录用Ollama跑起第一句对话3.1 环境准备驱动、Ollama、验证GPU环境准备本身很简单但有两个细节容易被坑。第一NVIDIA驱动要更新到较新版本。我一开始用的是半年前的驱动结果Ollama反复报CUDA错误排查了半天才发现是驱动太老。建议直接在NVIDIA官网下最新Game Ready驱动别用Windows自动更新的老版本。第二Ollama默认会尽力把模型放进显存如果放不下再自动卸载到内存这个特性对8GB显卡来说非常重要。下载安装包后第一步先在命令行验证一下ollama --version nvidia-sminvidia-smi能看到显卡型号、显存总量和当前占用。闲杂程序尽量关掉尤其是浏览器多开标签页那些也会占用少量显存和大量内存。3.2 下载模型20GB的GGUF要等多久用Ollama拉取Qwen2.5-32B的Q4量化版命令很简单ollama pull qwen2.5:32b-instruct-q4_K_M或者直接运行ollama run qwen2.5:32b-instruct-q4_K_M首次运行会自动下载模型文件这个GGUF文件大概18到20GB具体大小取决于文件分配。下载速度取决于网络国内环境千兆带宽也要半小时左右。下载完成后Ollama会自动加载第一次加载需要把20GB模型读进内存机械硬盘会非常慢NVMe SSD大概几十秒。这里我犯了个低级错误下载完成后我以为卡死了一直在那等其实是在等加载。判断方法是打开任务管理器看内存占用是否在持续增长。如果内存占用在涨说明模型正在从SSD读入内存给它一分钟就好。3.3 首次对话速度第一印象加载完成后直接输入 你好简单介绍一下你自己我的第一印象是很明显能感觉到延迟。从按下回车到看到第一个字大约等了1到2秒这是首token延迟。之后文字开始慢慢蹦出来肉眼可见的“打字机模式”大概每秒3到4个token。说实话这个速度比聊天工具慢得多但作为“本地能跑35B”这件事来说已经足够让我兴奋了。而且回答质量确实在线Qwen2.5-32B对中文的理解明显比14B级别的模型好一个档次长句逻辑、专业术语的使用都更准确。4. 性能实测速度、显存、质量全记录4.1 我测试了哪些指标完整跑起来之后我开始系统地记录性能数据。主要盯四个指标生成速度token/s每秒生成的字数单位越大越好。首token延迟输入prompt后到第一个输出token出现的时间交互场景中体感最明显。显存占用通过nvidia-smi实时监控确认是否吃满8GB。内存占用通过任务管理器看确认系统内存余量。4.2 实测数据与解读我通过修改参数做了三组对照测试。在Ollama中可以通过Modelfile固定参数我后面会细讲先看结果配置生成速度显存占用内存占用备注纯CPU-ngl 0约1.4 token/s约0.5GB约21GB慢到怀疑人生GPU 16层约3.2 token/s约5.8GB约14GB体感能用GPU 20层约4.3 token/s约7.3GB约12GB接近显存上限GPU 24层约4.8 token/s约7.9GB约10GB有OOM风险这里的关键是看日志里那行字offloaded 20/65 layers to GPU。Qwen2.5-32B总层数是64层加embedding等约65个可卸载单元。当GPU层数从16提升到20时生成速度明显提升但显存占用逼近7.3GB已经接近8GB物理上限。我还是那句话真正拖慢速度的是CPU内存不是显存。20层留在CPU内存里每生成一个token都要把这20层对应的权重约12GB从DDR4内存里读一遍。DDR4-3200双通道的理论带宽约50GB/s但实际上CPU算子执行、缓存命中率、内存控制器开销都在拖后腿所以CPU部分成了瓶颈。4.3 8GB跑35B的速度到底能不能用既然速度基本在3到4.8 token/s之间那这个速度能干什么我实际测试了几个典型场景代码生成给一个“写个Python脚本批量重命名文件”的prompt约200tokens耗时约1分钟。能用但查问题效率不高。文档总结输入一篇2000字文章让它总结要点大概需要2到3分钟。勉强能接受。中文问答短问题回复50到100字基本上20秒内出完这个场景体感比较好。实时聊天需要连续多轮能聊但每轮都有明显停顿不太适合做实时客服。我对这个速度的评价是能凑合用但只适合“低延迟不敏感”的场景。如果你想要那种对话秒回的体验8GB跑35B做不到得换更强的显卡。5. 一步步调优从1.5token/s到4-5token/s跑通只是第一步真正有意思的是调优过程。我从最初纯CPU模式1.5 token/s一路调到4.3 token/s手法都在这个章节。5.1 手动控制GPU层数Ollama默认是“尽量把模型层放进GPU”但有时候默认策略不如手动精准。我通过Modelfile来固定参数新建一个文件叫ModelfileFROM qwen2.5:32b-instruct-q4_K_M PARAMETER num_gpu 20 PARAMETER num_thread 8 PARAMETER num_ctx 4096然后在命令行执行ollama create local-qwen -f Modelfile ollama run local-qwennum_gpu 20的意思是只把前20层加载进显存其余层留在CPU内存。这个数字不是越大越好因为一旦显存吃满系统会开始用“统一内存”做交换反而可能出现性能骤降。我实际测下来num_gpu 20是我这台机器的最佳值。num_gpu 24虽然速度更快一点但显存占用7.9GB离8GB物理上限只有一步之遥稍微来点并发任务就OOM。如果你用别的8GB显卡建议以nvidia-smi显示不超过7.5GB为红线留出500MB余量防止崩溃。5.2 KV Cache与上下文长度的平衡上下文长度num_ctx是另一个重要参数。它决定了模型能“记住”多少历史内容。Ollama默认只有2048跑长文总结或多轮对话时会明显“失忆”。但上下文长度不是无限加就好。KV Cache会随上下文长度增长每多一个token都要为每一层保存一份键值缓存。我把num_ctx从2048调到4096后内存占用上涨了约1.5GB速度也略有下降因为每个token生成时都要处理更长的历史信息。实测结论日常问答num_ctx 4096足够。文档总结类可以试着开8192但显存和内存都吃紧速度会掉到3 token/s以下。8GB显卡用户不要轻易上num_ctx 16384我很负责任地说这个配置在8GB显存下大概率OOM或慢到没法用。如果确实需要长上下文推荐开启KV Cache量化。用llama.cpp命令行时加--cache-type-k q8_0 --cache-type-v q8_0KV Cache量化后能节省约一半缓存空间但会让输出速度降低一点。在Ollama中对应的配置项不太直观我是直接换成了llama.cpp的编译包来跑长上下文任务。如果你主要用Ollama建议保持默认KV Cache精度只控制上下文长度在4096以内。5.3 CPU线程数很多人忽视的提速点这个点很少人提但对CPU参与推理的场景影响巨大。Ollama默认线程数有时只有4哪怕你的CPU有16线程它也只用了4个剩下的都在摸鱼。我在Modelfile里手动设置了num_thread 8。注意是物理核心数而不是逻辑线程数。i5-13400有10个物理核心6大核4小核实测num_thread 8比num_thread 16快因为线程过多时上下文切换开销反而拖慢速度。如果你不知道自己的物理核心数Windows下任务管理器里看“逻辑处理器”一般除以2就是物理核心数。设成物理核心数通常是最稳妥的。5.4 采样参数对体验的影响最后是采样参数这个不直接影响速度但直接影响输出质量。Ollama默认temperature是0.7对一般对话没问题但跑代码或结构化输出时容易“发挥过头”。我的实测经验写代码、提取结构化信息temperature调到0.2到0.3效果最稳定。创意写作、头脑风暴保留0.7左右生成内容更发散。知识问答0.4到0.5比较合适既不会机械复读也不会胡说八道。在Modelfile里可以加上PARAMETER temperature 0.3 PARAMETER top_p 0.8如果模版文件里有特殊结束符还可以用PARAMETER stop指定避免模型循环生成。6. 踩坑实录差点放弃的三个瞬间6.1 显存满溢OOM上下文别贪长我第一次想把上下文拉到8192看看能不能做长文档总结。结果刚输入一段长文本Ollama直接报错中断日志里出现显存不足的错。看了nvidia-smi才发现显存已经飙到8.2GB系统连一点缓冲都没留。教训就是显存分区记得留余量。8GB显卡的实际可用空间往往只有7.5GB左右因为系统、显示输出、CUDA上下文都会占一部分。我的建议是保持nvidia-smi显示显存使用率不超过7.5GB一旦接近马上降低num_ctx或减少GPU层数。6.2 初次加载卡顿是硬盘不是显卡前面提到下载完成后等了很久没反应我还怀疑Ollama坏了。后来打开任务管理器看到SSD占用率100%内存占用缓慢爬升才明白是模型文件从SSD读入内存的过程。如果你的系统盘是机械硬盘这个过程会更久甚至可能让系统卡到无响应。这时候千万别强制杀掉进程否则又要重新加载。给足耐心或者换个NVMe硬盘体验会好很多。6.3 生成重复文本温度参数背锅有次让它写一段会议记录它前几句话正常后面开始无限重复“会议强调了会议强调了会议强调了”。一开始我以为是模型量化太狠质量崩了后来才反应过来是采样参数问题。当时temperature设的0.7估算概率分布太发散模型陷入了重复循环。把temperature降到0.3把repeat_penalty设为1.1后问题立刻消失。这个参数在Ollama里可以在Modelfile里直接配PARAMETER repeat_penalty 1.1遇到重复输出先检查这两个参数别急着怪模型。7. 结尾8GB跑35B之后的思考折腾完这一圈我最大的体会是8GB显存跑35B这件事不是简单的“能”或“不能”而是你能不能接受那个速度和边界。它能跑能在本地离线运行一个中文能力不错的35B级模型能支撑文档总结、代码草稿、知识问答这些场景但确实没法给你秒回的交互体验。如果你手里正好有8GB显卡我强烈建议拿一个周末试一次。跑通这个之后你对显存、内存、量化、算子调度这些概念的理解会比看十篇论文都深刻。最后分享一个小习惯每次切模型或改参数后我都会打开Ollama的日志看那一行offloaded XX/65 layers to GPU。只要看到这个数字我就知道当前显存有没有吃满、要不要调整层数。搞清楚这一行字背后的逻辑你就不再是机械地敲命令而是真正在控制整条推理流水线。