LoRA微调7B大模型全流程：从数据准备到推理效果对比（QLoRA实测）
本文记录了我在单张24GB显存显卡上，用LoRA/QLoRA微调Qwen2.5-7B-Instruct的完整过程。训练数据约8k条医疗问答，采用4-bit量化+LoRA（r=16, alpha=32），训练3个epoch耗时约2.5小时，最终loss从1.82降到0.67。推理对比显示，微调后模型在专科问题上的准确率从54%提升到89%，而显存占用仅增加不到1GB。文中包含可直接运行的代码、踩坑记
小北_Cloud
Lv.1Builder，喜欢把想法做成可运行的产品，主要关注云计算，分享容器化部署、故障复盘及真实项目复盘；关注技术选择背后的成本与边界。偶尔更新生活观察，主要还是认真做事。
4文章
0粉丝
0关注
2获赞
最新文章
Docker Compose编排多服务项目：网络卷挂载健康检查与启动顺序全解析
本文基于实际项目，分享一套包含Nginx、Golang API、PostgreSQL、Redis、RabbitMQ五个服务的docker-compose.yml配置。重点讲解自定义网络隔离、命名卷持久化、healthcheck健康门控及depends_on条件启动，解决服务启动竞态问题。配置在Docker Compose v2.20.0 + Docker Engine 24.0.2下验证通过，服务
Prompt模板迭代实录：从42%到91%的SQL生成准确率跃升
在Text2SQL任务中，我通过5轮Prompt模板迭代，将GPT-4(0613)的SQL生成准确率从42%提升至91%。实测对比了零样本模板、Few-shot模板与结构化约束模板的差异，发现token消耗从每查询1837降至1142，而输出质量（执行通过率）提升118%。本文记录了包含错误类型分析、系统提示词设计、JSON模式约束在内的全套调优路径，附带完整的Python评估脚本和成本计算公式。
asyncio重构Flask接口，QPS从87到312的完整记录
一个内部报表API，单次请求需要聚合3个微服务数据，平均耗时420ms，QPS只有87。用asyncio把串行HTTP调用改为并发后，P95延迟从680ms降到215ms，QPS提升到312。本文记录完整改造过程，包括asyncio.run()的坑、Semaphore限流、aiohttp连接池复用，以及如何在不改Flask框架的前提下接入异步。附完整可运行代码和压测数据。