◆ 博主名称 小此方-CSDN博客大家好欢迎来到小此方的博客。⭐️LangChain/LangGraph系列个人专栏 LangChain/Graph⭐️此方的GitHub github_此方⭐️我们思考 (Rethink) · 我们重建 (Rebuild) · 我们记录 (Record)文章目录概要序論一、本地接入的方法论综述1.1 本地部署的典型流程1.2 主流推理框架选型二、Ollama 本地部署实战2.1 Ollama 简介2.2Ollama安装2.3 Ollama 常用指令2.4上手用一用Ollama2.4.1拉取模型DeepseekR1-1.5b2.4.2启动模型2.4.3对话试试2.4.4用代码接入Ollama的DeepseekR1-1.5b三、什么是SDK接入四、使用现有的SDK库进行接入4.1 使用 OpenAI SDK 进行调用五、自制C大模型SDK接入概要序論Hello大家好我是此方。本文开始讲解大模型的本地接入方案我会先讲解本地接入的一般流程然后用Ollama接入做一个演示Ollama接入我会在Linux上通过写一个小型的代码来测试。好我们开始吧。一、本地接入的方法论综述大模型本地部署这种方式就是将开源的大型语言模型部署在你自己的硬件环境本地服务器或私有云中。其核心概念就是将下载的模型文件权重和配置文件使用专门的推理框架在本地服务器或 GPU 上加载并运行模型然后通过类似 API 的方式进行交互。一定只能是开源的OpenAI、Google、Anthropic等公司的模型就不行。1.1 本地部署的典型流程在将开源模型接入应用系统时通常需要遵循以下标准步骤1.2 主流推理框架选型针对不同的使用场景与硬件条件业界存在多种成熟的开源推理框架供开发人员选择vLLM特别注重高吞吐量的推理服务性能极大优化非常适合高并发生产环境。TGIHugging Face 官方推出的推理框架功能全面与生态结合紧密。Ollama非常用户友好可以一键拉取和运行模型适合快速入门和本地开发测试。LM Studio提供图形化界面让本地运行模型像使用普通桌面软件一样简单直观。我们用最省事儿的Ollama来接入一下看看。二、Ollama 本地部署实战2.1 Ollama 简介Ollama 是一款专为本地部署和运行大型语言模型设计的开源工具旨在简化大型语言模型的安装、运行和管理。它支持多种开源模型并提供简单的 API 接口方便开发者调用非常适合开发者和企业快速搭建私有化 AI 服务。Ollama开源仓库Ollama官方主页2.2Ollama安装复制这条命令去你的Linux机器上安装安装网站curl -fsSL https://ollama.com/install.sh | sh2.3 Ollama 常用指令在日常开发与运维中熟练掌握 Ollama 的命令行工具能够帮助我们高效管理本地的大模型服务。命令描述ollama server启动 Ollamaollama show显示模型信息ollama run运行模型ollama stop停止正在运行的模型ollama pull从 Ollama 官方维护的模型库中拉取模型ollama list列出所有可用模型ollama ps列出正在运行的模型ollama rm删除模型ollama help显示任意命令的帮助信息标志描述-h,--help显示 Ollama 的帮助信息-v,--version显示版本信息注意ollama server启动的是一个前台进程终端关闭进程也就关闭了。在生产环境中推荐使用systemctl来管理 Ollama 服务该方式下 Ollama 服务在后台运行即使终端关闭服务仍会继续运行。sudosystemctl start ollama# 启动服务sudosystemctl stop ollama# 停止服务sudosystemctl restart ollama# 重启服务sudosystemctl status ollama# 查看服务状态2.4上手用一用Ollama2.4.1拉取模型DeepseekR1-1.5b点进来这里有很多的模型选择我们找一个Deepseek的超级阉割版在我的轻薄本上也能跑。复制一下名称。我们去终端。ollama pull 你刚才复制的模型名称去从官方库吧这个模型拉取下来。需要一点时间。好了我们用ollama list查看一下可用模型多了一个说明成功了。2.4.2启动模型2.4.3对话试试关闭大模型/bye或者ctrl d。2.4.4用代码接入Ollama的DeepseekR1-1.5b完整源码大概四五百行我已经放在我的仓库里面了有需要的小伙伴可以自取。讲起来有点麻烦不讲了OllamaProvider.ccOllamaProvider.hOllamaTest三、什么是SDK接入这并非一种独立的接入方式而是对第一种和第二种 接入方法的封装和简化。模型提供商通常会发布官方编程语言 SDK为我们封装好了底层的 HTTP 请求细节提供一个更符合编程习惯的、语言特定的函数库。四、使用现有的SDK库进行接入4.1 使用 OpenAI SDK 进行调用pipinstallopenai#pip 是 Python 语言专属的官方第三方包管理器小提示报错原因新版 Linux 启用了 PEP 668 保护机制防止全局及用户目录乱装包导致依赖冲突。解决方案若不想使用虚拟环境venv可在指令后附加参数强行解除限制直接安装至家目录pipinstall--useropenai --break-system-packages安装 OpenAI SDK 后可以创建一个名为example.py的文件并将示例代码复制到其中fromopenaiimportOpenAI# 1. 初始化客户端必须将 base_url 指向 DeepSeek 官方 API 地址clientOpenAI(api_keysk-eba74ea8fdd04508b66e89974efafd1c,base_urlhttps://api.deepseek.com)# 2. 发起对话请求responseclient.chat.completions.create(modeldeepseek-chat,# 指定调用的模型messages[{role:system,content:你是一位专业的 Python 开发专家。},{role:user,content:用两句话介绍一下什么是异步编程。}])# 3. 打印输出结果print(response.choices[0].message.content)五、自制C大模型SDK接入仓库地址正在建设中。C接入SDK好的本期内容就到这里如果对你有帮助还不要忘记点赞三联支持。我是此方我们下期再见。bye!