AI 端侧部署实战：模型量化、压缩与本地推理完整指南
把大模型部署到手机和边缘设备：模型量化原理、GPTQ/AWQ/GGUF三方案对比、4-bit压缩实测精度损失、Ollama本地推理完整流程、从54GB压到4GB。附量化前后性能对比。
Zyentor 原创
5天前
41
端侧部署
模型量化
AI 模型部署从入门到生产 —— ONNX 转换、TensorRT 加速、推理服务搭建
完整讲解 AI 模型从训练完成到生产部署的全流程：模型导出与格式转换（ONNX/TensorRT）、推理优化（FP16/INT8 量化）、推理服务框架选型（Triton/vLLM/SGLang）、性能压测与监控。
Zyentor 原创
2026-05-29
374
模型部署
ONNX