简介这份PDF实操手册面向具备一定机器学习基础的研究人员与开发者聚焦在AutoDL云平台上独立部署并微调Qwen2.5-7B-Instruct大模型这一实际需求覆盖从环境搭建、预训练模型下载到微调流程与实验记录的完整链路适合自然语言处理任务优化、模型性能提升等落地场景。资源包内仅含1个PDF文件体积约2.28MB以图文步骤与命令行示例串联各环节便于边看边操作。目前已有12491人学习说明其在同类微调教程中具备较高参考价值。内容上手册以4090云GPU为训练环境讲解社区镜像选择、SSH与VSCode远程连接、经hf-mirror下载模型并借助LLaMA-Factory可视化界面完成数据集配置、训练轮次设置与显存监控还专门说明如何接入wandb记录多次实验结果帮助读者建立可复现、可对比的微调实验流程减少环境配置与参数调试中的试错成本。1. 一张 4090 卡、一个社区镜像把 Qwen2.5-7B-Instruct 微调跑通很多人第一次做大模型微调卡在的不是 LoRA 的秩设多少而是环境。CUDA 版本、torch 版本、flash-attn 编译、bitsandbytes 兼容性任何一环对不上pip install就能耗掉一整天。这份实操手册的价值就在这它把 Qwen2.5-7B-Instruct 的微调流程压缩成一条可复现的路径——租一台 4090 云 GPU选一个预装好依赖的社区镜像用 LLaMA-Factory 的可视化界面把 LoRA 微调跑起来再用 wandb 把多轮实验的曲线记下来。适合已经懂一点 Transformer、想亲手把开源模型调成自己业务语气的人也适合被环境问题反复折磨、只想先看到 loss 下降曲线的从业者。下面按我拆包复现的顺序讲参数怎么填、坑在哪都落到具体位置。2. 环境与模型落地从租卡到权重落盘2.1 为什么选 4090 而不是 A1007B 模型做 LoRA 微调显存占用的大头是基座权重加优化器状态。全参微调 7B 在 fp16 下光权重就约 14GB加上梯度和优化器状态直接爆掉单卡而 LoRA 只训练低秩旁路矩阵可训练参数通常压到百万级24GB 显存的 4090 完全够用。这也是手册里说 4090 是「性价比最高方案」的技术依据不是它最强而是它对 LoRA 这个场景刚好不浪费。选卡时注意两点。一是显存必须是 24GB 版本别选到 4090D 的阉割显存配置二是数据盘。AutoDL 的系统盘和数据盘是分开的/root/autodl-tmp才是大容量数据盘模型权重、数据集、检查点全部往这里放系统盘塞满会导致实例异常。手册里反复强调目录说明就是血泪经验——我见过有人把 15GB 的模型 clone 到/root下跑到一半磁盘满训练直接中断。2.2 社区镜像省掉的那半天创建实例时镜像选「社区镜像」找agiclass/fine-tuning-lab/finetune-lab-v8的最新版本。这个镜像预装了微调所需依赖省掉的是最耗时的编译环节。如果你偏要自己从零配常见做法是 conda 建 Python 3.10 环境然后按 LLaMA-Factory 的 extras 装conda create -n llama_factory python3.10 -y conda activate llama_factory cd /root/autodl-tmp/LLaMA-Factory # torch 与 metrics 是微调与评测的最小依赖集 pip install -e .[torch,metrics]-e是可编辑安装改源码立即生效调试时有用[torch,metrics]是 extras 语法只装这两组依赖不装 deepspeed、vllm 那些用不上的重包。装完用llamafactory-cli version验证能打印版本号说明入口脚本已注册。这一步失败九成是 Python 版本不对或 pip 源超时换国内源重试即可。2.3 模型下载hf-mirror 与 .git 清理Qwen2.5-7B-Instruct 从 HuggingFace 拉国内直连慢手册用 hf-mirror 镜像站。命令本身简单但有两个细节决定成败cd /root/autodl-tmp git lfs install # 通过镜像站克隆权重走 LFS git clone https://hf-mirror.com/Qwen/Qwen2.5-7B-Instruct cd Qwen2.5-7B-Instruct # 清掉 .gitLFS 对象历史会额外占几个 GB rm -rf .gitgit lfs install只做一次作用是让 git 识别 LFS 指针文件并真正拉取大权重不装的话 clone 下来只有几百字节的指针文件加载模型时报 safetensors 缺失。rm -rf .git这步很多人忽略LFS 的本地缓存和历史对象会额外吃掉数 GB 数据盘7B 模型本身约 15GB清完能省出可观空间。下载完用du -sh看一眼目录大小正常在 15GB 上下明显偏小就是 LFS 没拉全。2.4 连接方式SSH 客户端与 VSCode 二选一远程连接有两条路。用 FinalShellWindows或 TermiusMac走 SSH同时开 SFTP 传数据集适合纯命令行操作用 VSCode 的 Remote-SSH 扩展好处是端口能自动转发llamafactory-cli webui启动后本地浏览器直接开不用去控制台配自定义服务。连接信息在实例详情页主机、端口、密码三样照抄。这里有个容易翻车的点webui 默认监听0.0.0.0:7860SSH 客户端连的话本地打不开必须到 AutoDL 控制台的「自定义服务」里映射 7860 端口拿到一个临时访问地址。VSCode 用户则无感Remote-SSH 会自动做端口转发。我第一次用 FinalShell 时对着localhost:7860刷了半天白屏就是没做这步映射。3. LLaMA-Factory 微调界面参数与数据集配置3.1 llamafactory-cli 的动作参数体系LLaMA-Factory 所有功能都收在一个入口llamafactory-cli下靠第一个位置参数区分动作。理解这张表后面所有操作都是换参数的事动作参数用途version打印版本信息train命令行方式启动训练chat命令行交互推理export合并 LoRA 权重并导出完整模型api起一个兼容 OpenAI 风格的接口服务eval用 mmlu 等标准集做评测webchat纯推理的网页对话页webui可视化训练、预测、合并的总面板日常微调用webui最省事调参靠点、结果靠看。要批量复现或写进脚本就改用train配 YAML 配置文件参数一一对应。手册里强调「入口都是 llamafactory-cli」就是让你建立这个心智模型不是装了一堆工具而是一个工具多种动作。3.2 webui 里六个必填项怎么填启动llamafactory-cli webui后界面字段多但真正决定能不能跑起来的是这几项模型名称填Qwen2-7B-Instruct下拉里出现Qwen2-7B-Chat也选它是同一系列的不同标注。模型路径填 2.3 下载的绝对路径/root/autodl-tmp/Qwen2.5-7B-Instruct别填相对路径。微调方法默认lora保持不动。全参微调在 24GB 卡上跑不动 7B。检查点路径首次训练留空。它的语义是「断点续训的起点」一个检查点加原始模型才等于本次微调结果。数据集选你注册好的数据集名可多选右侧有预览。训练轮次默认 20小数据集上 20 轮容易过拟合建议先 3 到 5 轮看 loss 走势再定。填完按界面标注的顺序点训练就起来了。参数背后的逻辑是LoRA 只更新旁路基座冻结所以显存可控轮次决定更新次数学习率默认值对 7B 偏大时 loss 会震荡这时把学习率降到 1e-4 量级再试。3.3 自定义数据集注册比格式更容易错数据集文件放LLaMA-Factory/data下但光放文件不够还要在dataset_info.json里注册否则下拉框里根本看不到。手册里提到的c4_demo.json就是注册表。典型的一条注册长这样{ my_demo: { file_name: my_demo.json, columns: { prompt: instruction, query: input, response: output } } }my_demo是你在界面上看到的数据集名随便起但要唯一file_name是实际文件名必须同目录columns做字段映射把你自己数据的字段名对到框架认的instruction/input/output上。不同任务格式如 sharegpt 多轮对话映射方式不同以官方文档为准。这里最常见的翻车是 JSON 末尾多一个逗号整个注册表解析失败界面直接不显示数据集报错还藏在日志里。3.4 显存监控watch 比 nvidia-smi 好用训练起来后第一件事是看显存别等 OOM 才发现 batch size 设大了。三种看法nvidia-smi # 看一次快照 nvidia-smi -l # 每秒刷新刷屏快 watch -n 5 nvidia-smi # 每 5 秒刷新推荐watch -n 5的好处是画面稳定、不刷屏能持续观察显存爬升趋势。7B LoRA 在 4090 上batch size 为 1、序列长度 2048 时显存占用通常在 18 到 22GB 之间留 2GB 余量比较安全。如果一启动就接近 24GB先把cutoff_len从 2048 降到 1024或把 batch size 压到 1再不行开梯度累积换等效 batch。显存是硬约束参数再漂亮也绕不过去。4. wandb 实验记录多轮对比不再靠记忆4.1 为什么值得多接一个面板微调是个试错过程学习率 1e-4 和 5e-5 哪个收敛稳、3 轮和 5 轮哪个不过拟合光看终端日志记不住。wandb 把每轮的 loss、学习率、显存曲线存到云端多次实验叠在一张图上对比这是它相对本地 tensorboard 的核心优势——换机器、换实例历史实验还在。手册把它列为可选步骤但只要你要跑超过两次实验接上就是省心。4.2 接入的两步装包与开关第一步在 wandb 官网注册拿到 API key本地执行wandb login粘贴即可。第二步在 LLaMA-Factory 侧打开开关两条路# 在训练 YAML 里加这一段 report_to: wandb run_name: qwen25_lora_lr1e4_r3 # 实验名建议把关键超参写进去或者在 webui 界面里勾选「启用外部记录面板」选 wandb。run_name这个参数值得认真起名把学习率、轮次、数据集版本编进去后面在面板里一眼能认出哪条曲线是哪次实验。不填的话 wandb 自动生成随机名十次实验后你根本对不上号。4.3 看什么曲线判断训练是否健康接上之后重点盯三条线。训练 loss 应该整体下行中途小幅波动正常持续上扬就是学习率过大学习率曲线确认调度策略生效warmup 段应该是爬升的显存曲线如果呈阶梯状上涨说明有缓存没释放多半是 dataloader 的 worker 数设多了。三条线都平稳这轮实验才算可复现。wandb 的价值不在记录本身而在于让你下次调参时有据可依而不是凭感觉。5. 避坑排查五个真实翻车现场5.1 数据集下拉框为空现象文件明明放进了data目录webui 的数据集列表里却没有。原因dataset_info.json没注册或注册 JSON 语法错误尾逗号、引号不配对框架解析失败后静默跳过。解决用python -m json.tool dataset_info.json校验语法确认file_name与实际文件名逐字符一致包括大小写。5.2 训练启动即 OOM现象点开始训练几秒内报 CUDA out of memory。原因cutoff_len或 batch size 超出 24GB 承载或误选了全参微调。解决确认微调方法是 lora把cutoff_len降到 1024、per-device batch size 设为 1用梯度累积补等效 batch仍不行就开 4bit 量化加载基座。5.3 模型加载报 safetensors 缺失现象指定模型路径后报权重文件找不到。原因git clone时没装 git-lfs拉下来的是指针文件或路径指到了父目录。解决重装 lfs 后git lfs pull补拉权重用ls -lh确认 safetensors 文件是 GB 级而非几百字节路径精确到模型目录本身。5.4 webui 页面打不开现象命令显示启动成功本地浏览器访问无响应。原因SSH 客户端连接时没做端口映射7860 端口没暴露到本地。解决VSCode Remote-SSH 会自动转发用 FinalShell 的到控制台「自定义服务」映射 7860拿临时地址访问。5.5 实例关机后数据不见了现象关机再开机模型和检查点消失。原因文件放在了系统盘/root而非数据盘/root/autodl-tmp或实例被释放而非关机。解决所有大文件统一放数据盘关机只停计费不删盘释放才会清空操作前确认按钮语义。这条是后悔药丢了 15GB 权重重下就是半小时。6. 从 LoRA 到可部署模型合并导出与一次冒烟验证训练跑通只是半程检查点是一堆 LoRA 旁路权重不能直接当独立模型用。要部署得把旁路合并回基座导出一个完整的 HuggingFace 格式模型。命令行方式llamafactory-cli export \ --model_name_or_path /root/autodl-tmp/Qwen2.5-7B-Instruct \ --adapter_name_or_path /root/autodl-tmp/LLaMA-Factory/saves/Qwen2.5-7B-Instruct/lora/sft \ --template qwen \ --finetuning_type lora \ --export_dir /root/autodl-tmp/qwen25-merged \ --export_size 2adapter_name_or_path指向训练产出的检查点目录注意是含adapter_config.json的那一层template必须与训练时一致Qwen 系列用qwen填错会导致对话格式错乱、输出胡言乱语export_size控制分片大小单位 GB2 表示每片 2GB方便后续上传或加载。合并后的目录里是完整的 safetensors 加 config可以直接被 transformers 加载也可以再喂给推理框架。导出完别急着宣布成功做一次冒烟验证用llamafactory-cli webchat加载合并后的模型问三个训练集里出现过的问题和三个没出现过的问题。前者答得贴合你的数据风格说明微调生效后者如果答得离谱说明过拟合或数据覆盖太窄回去补数据比继续加轮次有用。我一般还会对比合并前后同一问题的输出差异明显才算这次微调真的留下了东西。从那以后我每次导出完都强制走一遍「三个见过 三个没见过」的冒烟问答再决定这个模型能不能进下一环节。这套习惯帮我拦下过好几次「loss 很漂亮但模型没学会」的假成功。希望帮到你。本文还有配套的精品资源点击获取