用asyncio重构Flask API:QPS从120提升到2300的改造过程
一个日请求量800万的用户画像查询接口,原本用Flask+Gunicorn同步模型部署,单机QPS只有120,P99延迟高达1.8秒。我用asyncio+FastAPI+httpx.AsyncClient重写后,在同样的4核8G机器上,QPS跑到2300,P99降到95毫秒。这篇文章完整记录改造思路、核心代码、踩过的坑,以及压测数据对比。

专注于大模型应用的工程化与业务落地。持续实践企业场景落地、模型选型与效果评估,重点关注效果、成本、稳定性和可维护性,分享经过验证的方案与真实复盘。
一个日请求量800万的用户画像查询接口,原本用Flask+Gunicorn同步模型部署,单机QPS只有120,P99延迟高达1.8秒。我用asyncio+FastAPI+httpx.AsyncClient重写后,在同样的4核8G机器上,QPS跑到2300,P99降到95毫秒。这篇文章完整记录改造思路、核心代码、踩过的坑,以及压测数据对比。
同一个"从电商评论中抽取结构化JSON"的任务,我写了4版Prompt,在gpt-4o-mini(2024-07-18)上各跑200条真实评论。V1直白提问:准确率72%,平均token 312,JSON解析失败率11%。V4引入字段定义、few-shot示例、输出约束和失败重试后:准确率96%,平均token 587,解析失败率降到0.5%。本文完整记录每版Prompt的写法、token账单、踩