asyncio重构Web API:QPS从120提升到1800的优化记录
一个日请求量200万的内部API,用Flask同步栈跑在4核8G机器上,压测QPS只有120,P99延迟飙到1.2s。本文记录了用asyncio + aiohttp + asyncpg重构的完整过程:从定位阻塞点、设计协程架构,到连接池参数调优和踩过的坑。最终QPS提升到1800,P99降到85ms,机器成本反而降了一半。附before/after完整代码和wrk压测数据。
FastAPI接口P99从1.8s降到180ms:一次profiling驱动的查询与缓存改造
线上一个FastAPI商品聚合接口,QPS刚过50就开始超时,P99一度冲到1.8s。用py-spy + SQLAlchemy慢查询日志定位到N+1查询和缺失索引是主因,配合Redis缓存热点数据,最终P99降到180ms,单机QPS从50提升到420。本文记录了完整的定位过程、改动代码、踩过的坑,以及wrk压测前后的对比数据,涉及FastAPI 0.110、SQLAlchemy 2.0、Redi
FastAPI接口响应从1.8s降到120ms:一次Profiling驱动的数据库与缓存调优记录
某内部商品查询接口上线后P95响应时间稳定在1.8s左右,QPS一过200就开始大量超时。本文记录了我用py-spy和FastAPI中间件定位瓶颈、发现N+1查询与缺失索引、引入Redis两级缓存并做压测验证的完整过程。最终P95降到120ms,单机QPS从210提升到1400+,数据库CPU从85%降到22%。文中包含可运行的profiling中间件与缓存装饰器代码,以及Locust压测脚本和前
LoRA微调7B模型实录:单卡24G从数据构造到推理对比的完整链路
本文记录了在单张RTX 4090(24GB)上,用LoRA对Qwen2.5-7B-Instruct做领域微调的完整过程。训练数据是我从内部工单里清洗出的3200条问答对,最终在验证集上把准确率从基座的61.3%拉到84.7%,训练耗时约2小时40分钟,峰值显存占用19.2GB。文中给出了数据格式、LoRA超参(r=16、alpha=32、target_modules全线性层)、loss曲线走势分析
从零手写AI Agent:基于LangChain与AutoGPT范式的工具、记忆与循环控制实现
本文不依赖 LangChain 现成的 AgentExecutor,而是从零手写一个约 300 行的 AI Agent 内核,完整实现工具定义(JSON Schema 动态注册)、记忆管理(滑动窗口 + 摘要压缩)、错误处理(工具异常重试与降级)以及循环控制(最大步数 + 重复动作检测)。基于 `langchain-core 0.3.28`、`openai 1.59.0`、`pydantic 2.
LoRA微调7B模型:从数据准备到推理对比,一次完整的QLoRA落地过程
本文记录我用LoRA/QLoRA在单张24GB显卡上微调Qwen2.5-7B-Instruct的全过程。训练数据约8000条指令样本,采用4-bit量化+LoRA(r=16, alpha=32),训练3个epoch约6小时,显存峰值18.7GB。最终loss从1.82降到0.71,验证集loss稳定在0.78左右。推理对比显示,微调后模型在目标领域的指令遵循准确率从62%提升到89%,同时保留了通
RAG检索增强生成系统调优:从chunk策略到rerank的完整链路优化
本文记录了一个真实RAG问答系统的三轮优化过程。初始版本Top-3命中率仅61%,通过调整chunk策略(512→256 token+15%重叠)、切换embedding模型(text-embedding-ada-002→bge-large-zh-v1.5)、引入bge-reranker-base重排序,最终Top-3命中率提升至89%,端到端P95延迟从2.3s增至2.8s,回答准确率从58%升
React Context 迁移 Zustand:一次真实项目性能对比与落地记录
项目使用 React 18.2 + TypeScript 5.2,早期用 Props 钻取和 Context 管理全局状态,页面组件数超过 120 个后,任意一次筛选条件变更都会触发 40+ 组件重渲染,首屏交互延迟达到 180ms。本文记录从 Context/Props 迁移到 Zustand 4.5 的完整过程,包括方案对比、分阶段迁移步骤、selector 拆分、shallow 比较等关键实
Milvus 2.4 与 Qdrant 1.9 在千万级图文检索场景下的选型对比与性能实测
团队要做图文去重与相似检索,数据量约 1200 万条 768 维向量,候选库锁定 Milvus 2.4.4 和 Qdrant 1.9.2。我在 3 台 16C64G 机器上分别部署两套集群,用同一批数据跑了写入、TopK 查询、带过滤查询和资源占用测试。结果:Qdrant 单机写入快 2.3 倍、内存低 40%,但 Milvus 在 500 并发下 P99 更稳、过滤查询快 1.8 倍。本文给出完
LoRA与QLoRA微调7B模型:从数据准备到推理效果对比的完整参数记录
本文记录了在单张24GB显卡上用LoRA和QLoRA微调Qwen2.5-7B-Instruct的全过程。训练集为8000条客服对话,LoRA配置r=16、alpha=32,QLoRA额外开启4bit NF4量化,训练3个epoch约2.5小时,显存占用从21GB降到9.8GB。最终loss从1.82降到0.61,领域问答准确率从基线的54%提升到87%,并附上推理对比和踩坑记录。
Milvus 2.4 与 Qdrant 1.9 在千万级图文检索场景下的选型实测对比
团队要做千万级图文去重检索,候选向量库锁定 Milvus 2.4.6 和 Qdrant 1.9.1。在 4C16G 单机、1000 万条 768 维向量的同一数据集上,我实测了两者的部署成本、建索引耗时、QPS/延迟和内存占用:Milvus 全量建 HNSW 索引耗时约 41 分钟、稳定内存 9.8GB,Qdrant 约 26 分钟、内存 7.2GB;TopK=10 检索 Qdrant P99 为
RAG检索增强生成系统优化实录:chunk策略调整、embedding模型切换与rerank引入的效果对比
本文记录了一个真实RAG(检索增强生成)系统的三阶段优化过程。系统初始采用512字符固定切分 + text-embedding-ada-002 + 无rerank的方案,在200条人工标注问答集上召回率仅61.5%,答案准确率54%。通过改为语义分块(chunk size 800、overlap 150)、切换至bge-large-zh-v1.5、并引入bge-reranker-base后,Rec
React Context 与 Vue Provide 迁移到 Zustand/Pinia:一次真实项目的状态管理重构记录
我们维护的中后台项目有 120+ 页面、约 40 个全局/跨层共享状态,早期用 React Context + Vue provide/inject 拼起来,结果一次表单联动调整触发了 18 个组件重渲染,输入框明显掉帧。2024 年 Q2 我们把状态层迁移到 Zustand 4.5 与 Pinia 2.1,首屏可交互时间从 2.8s 降到 2.1s,列表页输入延迟 P95 从 180ms 降到
LoRA微调7B模型全流程:数据准备、QLoRA配置与loss曲线分析
本文记录了在单张RTX 4090(24GB)上使用LoRA/QLoRA微调Qwen2.5-7B-Instruct的完整过程。训练数据为3200条自建客服问答对,采用4bit NF4量化+LoRA(r=16, alpha=32),训练3个epoch耗时约4.5小时,最终loss从1.82降至0.71,验证集准确率从基线61.3%提升到87.6%。文中包含可运行的数据处理与训练代码、真实loss曲线特
用asyncio重构同步Web API:QPS从180提升到2100的实践
一个日请求量约200万的内部服务,原本用同步阻塞方式调用多个下游HTTP接口,单机QPS只有180左右,P99延迟高达1.2s。本文记录我用asyncio + aiohttp把核心查询接口改为异步并发的过程:从定位阻塞点,到设计并发方案,再到压测数据对比,单机QPS提升到2100,P99降到210ms。文中给出可直接运行的before/after代码,以及并发数、连接池、超时等具体参数配置,适合正
LoRA微调7B模型全过程:数据准备、训练配置、loss曲线与推理效果对比
本文记录了在单卡RTX 4090(24GB)上使用LoRA对Qwen2.5-7B-Instruct进行微调的完整过程。训练数据为3200条自建客服对话样本,LoRA rank设为16,alpha为32,学习率2e-4,训练3个epoch约4.5小时。最终训练loss从1.82降至0.67,验证loss稳定在0.71。推理对比显示,微调后模型在领域问答上的准确率从基线的58%提升到89%,同时保留了
React Context迁移Zustand与Pinia实践:性能对比与步骤拆解
在一个中型后台项目中,我们把 React 的 Context + Props 逐层传递改造成 Zustand,同时在 Vue 子项目里用 Pinia 替换了 provide/inject。迁移后首屏渲染时间从 1.8s 降到 1.2s,列表页高频更新场景的重渲染次数下降约 70%,代码里 props 透传层数从平均 4 层降到 0。本文记录方案对比、迁移步骤、真实代码、踩过的坑和性能数据,给正在纠
asyncio改造同步Web API:QPS从120提升到1800的完整过程记录
一个内部数据聚合API,使用Flask + requests同步调用3个下游服务,压测QPS只有120,P99延迟高达2.3秒。本文记录了用asyncio + aiohttp重构的完整过程:从问题定位、方案选型到核心实现,包含before/after完整代码和wrk压测对比数据。改造后QPS提升到1800,P99降到180ms,内存占用反而下降了15%。文中还踩了连接池配置和超时控制的坑,一并记录
从580到2100 Token:一次电商评论结构化抽取的Prompt Engineering对比实验**
**
React Context迁移Zustand实践:重渲染降68%
我们有一个中型后台项目,React 18 + TypeScript,状态散落在 40 多个 Context 和层层 Props 里,最深的组件要透传 7 层。一次表格筛选改动引发全页重渲染,Performance 面板显示单次交互 180ms、重渲染组件 320 个。本文记录我们对比 Context、Redux Toolkit、Zustand、Jotai 后选择 Zustand 4.4 的完整迁移