闲置设备如何组成分布式AI集群exo上手指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo你桌上那两台 Mac 正闲着想跑的千亿参数大模型单机内存装不下只能月月为 API 付费。exo 解决的就是这个问题——它把这些闲置设备自动聚合成一个分布式 AI 集群前沿大模型跑在本地设备越多还越快。把零散设备变成一台大内存池单机内存装不下大模型怎么办你可以把它理解为接力送快递exo 把模型切片每一片装进不同设备的内存每台机器只算自己负责的那一段。单台 Mac 装不下的 DeepSeek v3.1 671B4 台 M3 Ultra Mac Studio 就能装下这正是官方跑分演示的做法。设备越多为什么更快而不是更慢不少分布式方案加节点反而变慢跨机通信把算力吃掉了。exo 的关键差异是雷电 5 的 RDMA一台机器直接读写另一台的内存设备间延迟约降低 99% 。张量并行让每台设备同时参与计算2 台设备约 1.8 倍速4 台可达 3.2 倍。模型是怎么被自动切分的把编排想象成物流调度员exo 自动发现网络里的设备实时测量每条链路的带宽与延迟再决定哪一片放哪台机器不需要你手动规划。从克隆仓库到第一次对话的最短路径对 Mac 用户来说这条路最短执行git clone https://gitcode.com/GitHub_Trending/exo8/exo拿到代码在项目里构建好 dashboard再用项目自带的命令启动 exo本地 52415 端口就会打开管理面板 。此后基本全自动同一网络里的其他设备只要跑着同样的程序就会被自动发现并加入集群不用配端口、不用写配置文件。在面板里挑一个模型exo 会自动算好切分方式然后就能直接对话。如果你主要通过接口调用可以看接口说明docs/api.md。macOS 上也有官方应用可经 Homebrew 一条命令装好菜单栏里能一键卸载。谁在真正用这种本地AI集群从双Mac家庭工作室到注重隐私的小团队家里有两台以上 Mac 的用户是最直接的人群一台 Studio 加一台旧 MacBook晚饭后就能在集群上跑自己的对话或写作助手数据不出家门。对需要对接既有工具的开发同学exo 同时兼容 OpenAI、Claude 与 Ollama 三套 API 格式把地址一换现有脚本和界面几乎零改动接入。把手头闲置算力变成真正用得上的大模型装一个 exo 试试。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考