【免费下载链接】HEART-fp32项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/HEART-fp32点击查看免费下载HEART-fp32是专为Apple SiliconM 系列芯片打造的 AI 图像超分辨率模型权重仓库它把 Philip HofmannPhips开发的HEART16.7M 参数、HAT-iLN 窗口注意力架构超分网络以fp32 精度逐张量精确转换为 MLX 格式可直接用于 Mac 上的图像放大与画质修复是 Swift/MLX 移植项目mlx-heart-swift的基准参考权重。 快速了解HEART 超分辨率模型是什么简单说HEART 是一个图像放大Super-Resolution模型输入一张低分辨率、或受损/压缩过的图片输出放大2× 或 4×后的高清图片架构基于 HAT / HAT-iLN带窗口注意力的 Transformer并引入 RIB隐式神经渲染组件增强细节训练数据仅使用 CC0 许可的Phips/lucid-cc0-v2-hc-512高质量语料而HEART-fp32这个仓库就是上述模型的MLX fp32 参考版本parity / reference lane与上游 PyTorch 实现逐位对齐适合用于精度验证、研究对比和追求最高保真度的场景。 仓库里有什么4 个模型变体一览仓库非常精简核心就是 4 个safetensors权重文件 1 个架构配置模型文件变体名放大倍率定位heart_4x_otf_v2_fp32.safetensors.fidelity默认4×OTF 保真版受损输入表现最佳heart_4x_otf_gan_fp32.safetensors.sharp4×OTF GAN 版真实感细节最锐利heart_4x_pretrain_fp32.safetensors.clean4×官方预训练版适合干净图源heart_2x_fp32.safetensors.clean2x2×官方 2× 预训练版config.json——架构参数、变体信息与校验和每个变体单独成文件包管理器可以只下载自己需要的 checkpoint不用为其他变体付流量。如何挑选合适的变体处理老照片、截图、压缩图等受损输入 → 选.fidelity默认推荐追求锐利、真实感输出 → 选.sharp输入本身就是干净图如游戏截图、插画→ 选.clean或 2× 的.clean2x️ 架构亮点16.7M 参数如何做到高效超分从 config.json 可以读到这套架构的关键参数embed_dim: 180、6 层 Transformerdepths全为 6、num_heads: 6窗口注意力window_size: 32把全局注意力限制在局部窗口内大幅降低计算量rank: 8的秩分解偏置Rank-factorized bias——这正是HEARTHybrid Efficient Attention with Rank-factorized bias Transformer名称的由来RIB 隐式网络rib_hidden_dim: 32、rib_n_freqs: 10用于细节重建张量布局卷积权重OHWI、激活值NHWC专为 MLX 生态整理总参数量约16,677,3992× 版约 16,529,687每个 4× 变体 fp32 文件约63.8 MB在 Mac 上运行非常轻快。 fp32 参考版 vs fp16 发布版区别在哪仓库 README 中把两条车道区分得很清楚HEART-fp32全 fp32 的精度基准版用于对齐验证parity / reference laneHEART-fp16日常发布版卷积/线性层张量用 fp16 减半体积但i-LN 归一化、仿射权重偏置和 RIB 隐式网络参数保持 fp32748 个张量中 220 个且所有归约运算i-LN 统计、softmax、全局平均池化等均在 fp32 下完成保证画质不塌方一致性验证数据与上游 PyTorch 实现CPU fp32、相同输入对比.fidelity变体在 128² 分辨率下达到127.5 dB PSNR.sharp125.3、.clean122.5、.clean2x124.0每个子算子误差小于 1e-5 相对差——这意味着两个实现几乎逐位一致可放心用于回归测试和画质对比。 如何在 Swift/MLX 中使用 HEART 模型HEART-fp32 的主要消费方是 Swift 移植项目xocialize/mlx-heart-swift对应其 MLXEngine 的imageUpscale、fidelity 档位。用法非常简单——引擎首次调用时会自动从本仓库拉取所选变体并放入本地模型库import MLXServeCore, MLXHEART let engine MLXServeEngine() let id try await engine.register(HEARTUpscalePackage.registration, configuration: HEARTConfiguration(variant: .fidelity, quant: .fp16)) let out try await engine.run(ImageUpscaleRequest(image: image), package: id) // 4×2× 用 .clean2x只需把variant改成.sharp/.clean/.clean2x即可切换变体无需手动管理文件。 获取模型文件若需要把权重仓库 clone 到本地例如离线分发或自行集成推理框架git clone https://gitcode.com/hf_mirrors/mlx-community/HEART-fp32clone 后即可得到上文 4 个safetensors文件与 config.json。由于 fp16 版张量只占一半体积若只为日常放大使用可优先考虑 fp16 仓库本 fp32 仓库则适合作为基准参照。⚖️ 许可证与出处全部采用Apache-2.0HEART 代码与预训练权重Philip Hofmann / Phips、HAT 与 HAT-iLN 架构家族XPixelGroup、traiNNer-redux 的hat_iln_arch.py、SST 的 RIB训练语料Phips/lucid-cc0-v2-hc-512为平台声明的CC0许可每个文件都附带source_sha256与fp32_sha256见 config.json可校验权重的逐张量精确转换上游 revision868878ce的键名不变仅卷积权重布局由(O,I,kH,kW)重排为(O,kH,kW,I)其余一律未动❓ 常见问题FAQQ1HEART-fp32 只能在 Mac 上用吗权重本身是标准safetensorsMLX 生态主要面向 Apple Silicon其他平台建议使用上游 PyTorch 原版 HEART。Q2fp32 和 fp16 画质差距大吗README 的 parity 章节显示 fp16 版在关键归约路径上全部保持 fp32并附有专门的 fp16 与分块tiling研究见移植仓库的PORTING-SPEC.md因此两者画质基本无感知差异fp16 只是体积减半、推理更快。Q3能用于视频放大吗仓库定位为image-to-image图像到图像管线官方示例针对静态图像视频帧序列需要自行逐帧处理并注意显存/内存开销。Q4为什么只有 4 个文件没有代码这是纯模型权重仓库推理代码在 Swift 移植项目xocialize/mlx-heart-swift中架构定义则完整记录在 config.json 里便于任何框架按参数重建网络。 总结HEART-fp32是为 Apple Silicon 提供16.7M 参数 AI 图像超分辨率能力的 MLX fp32 参考权重仓库4 个变体.fidelity/.sharp/.clean/.clean2x覆盖 2× 与 4× 放大、受损修复与干净放大等典型场景与上游 PyTorch 实现127.5 dB PSNR级别的逐位对齐适合作为精度基准Apache-2.0 许可可自由使用请保留作者署名赞分享【免费下载链接】HEART-fp32项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/HEART-fp32点击查看免费下载相关推荐HEART-fp16 项目全解析16.7M 参数超分辨率 Transformer 登陆 Apple Silicon4× 图像放大如此简单HEART fp16 项目全解析16.7M 参数超分辨率 Transformer 登陆 Apple Silicon4× 图像放大如此简单 HEART fp1为什么SCUNet-color-real-gan-fp32是Apple Silicon上零配置的AI图像降噪利器完整解析为什么SCUNet color real gan fp32是Apple Silicon上零配置的AI图像降噪利器完整解析 SCUNet color realK2-Horizon-MoVA-36B-A4B-4bit初体验36B参数只激活4B的Apple Silicon专属MoE大模型是什么K2 Horizon MoVA 36B A4B 4bit初体验36B参数只激活4B的Apple Silicon专属MoE大模型是什么 K2 Horizon人工智能大模型模型量化本地部署上一篇go-callvis 使用指南用 Graphviz 交互式可视化 Go 程序调用图安装、参数详解与实战下一篇juniper_warp 集成指南在 warp 中构建 GraphQL 服务与订阅创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考