前言：270 亿参数模型跑进 iPhone 了

7 月 10 日，PrismML 宣布将阿里 Qwen 3.6（270 亿参数）从 54GB 压缩到不到 4GB，在 iPhone 17 Pro 上实现本地运行。苹果已经就技术应用与 PrismML 沟通。

54GB → 4GB，压缩比 13.5 倍，而且能跑。

这不是魔法，是模型量化——把 16-bit 浮点参数压到 4-bit 整数，用精度换体积和速度。这篇文章把量化的原理、方案、实测数据全部讲清楚。

一、量化原理：为什么 4-bit 能行？

一个标准的 70 亿参数模型（FP16）占 14GB 显存。每个参数是一个 16-bit 浮点数。

量化精度 每参数位数 7B 模型大小 质量损失
FP16（原始） 16 bit 14 GB 0%
INT8 8 bit 7 GB 如果觉得有用，欢迎 点赞 + 收藏 + 关注。后续会实测更多量化方案的端侧表现。

🔜 下午：AI 模型价格战全解析——GPT-5.6 vs Meta Muse Spark vs DeepSeek