一、问题背景
事情是这样的。我们有个电商项目,商品详情接口 GET /api/v1/products/{id} 一直跑得还行,直到运营搞了个秒杀预热活动,流量从平时QPS 50涨到300左右,接口P99直接从200ms飙到1.8s,前端页面白屏,监控告警响了一晚上。
诡异的地方在于:数据库CPU只有30%,慢查询日志里也没几条记录。这说明瓶颈大概率不在DB层,而是在应用层——要么是Python代码里有阻塞,要么是连接池不够用,要么是序列化开销太大。
这个接口的逻辑很简单:查商品基本信息 → 查SKU列表 → 查库存 → 查促销标签 → 组装返回。看起来人畜无害,但魔鬼在细节里。
二、环境与版本
先把环境交代清楚,不然复现不了:
- Python 3.11.6
- FastAPI 0.109.2 + Uvicorn 0.27.0(
workers=4,loop="uvloop") - SQLAlchemy 2.0.25(同步Session,没上async,这是伏笔)
- MySQL 8.0.35,InnoDB,缓冲池16G
- Redis 7.2.4
- 部署:4核8G容器 × 3副本,Nginx做LB
- 压测工具:Locust 2.20.0
注意 workers=4 这个配置——4核机器开4个worker,每个worker是独立进程,意味着数据库连接池是每进程一份的,这个后面会踩坑。
三、方案设计
我的排查思路分三步走,不搞玄学:
第一步,定位。 用 py-spy 做采样profiling,因为它能attach到运行中的进程,对线上服务几乎零侵入(采样频率默认100Hz,开销 list[str]:
try:
resp = await _client.get(
f"http://marketing-svc/tags",
params={"pid": product_id},
headers={"X-Request-From": "product-api"},
)
resp.raise_for_status()
return resp.json().get("tags", [])
except (httpx.TimeoutException, httpx.HTTPStatusError):
# 降级:营销标签不是核心数据,失败就返回空
return []
### 4.2 数据库查询优化
火焰图第二块热点在SQLAlchemy的 `session.execute`,占比约25%。把慢查询日志和 `EXPLAIN ANALYZE` 拉出来看:
```sql
-- 原查询(简化版)
SELECT s.* FROM sku s
WHERE s.product_id = 12345 AND s.status = 1
ORDER BY s.sort_weight DESC;
EXPLAIN ANALYZE 显示 type=ALL,扫了80万行,rows_examined=784321,实际耗时 320ms。表上只有 product_id 单列索引,但查询条件是 product_id + status 组合,且要按 sort_weight 排序,单列索引回表后还得filesort。
加复合索引,注意字段顺序:等值条件在前,排序字段在后,这样能同时吃掉过滤和排序。
ALTER TABLE sku
ADD INDEX idx_pid_status_weight (product_id, status, sort_weight DESC),
ALGORITHM=INPLACE, LOCK=NONE;
改完后 type=ref,rows_examined=12,耗时 1.2ms。320ms → 1.2ms,这个提升主要来自索引覆盖了排序,消除了filesort。
还有个坑:ORM里的N+1查询。原代码在循环里逐个查库存:
# 反例:N+1
skus = session.query(SKU).filter_by(product_id=pid).all()
for sku in skus: # 每个sku一次查询
sku.stock = session.query(Stock).filter_by(sku_id=sku.id).first().count
改成一次 IN 查询 + 内存join,10个SKU从10次round-trip降到1次:
sku_ids = [s.id for s in skus]
stocks = {s.sku_id: s.count for s in
session.query(Stock).filter(Stock.sku_id.in_(sku_ids)).all()}
for sku in skus:
sku.stock = stocks.get(sku.id, 0)
4.3 缓存策略
商品详情是典型的读多写少,天然适合缓存。但缓存设计有几个讲究:
- 缓存粒度:缓存整个组装好的响应JSON,而不是缓存每个子查询,避免多次Redis round-trip。
- TTL + 主动失效:TTL设300秒兜底,商品变更时通过消息队列主动删key。
- 防击穿:热点key过期瞬间大量请求穿透到DB,用
SET NX分布式锁 + 双重检查。
import json, asyncio
from redis.asyncio import Redis
redis = Redis(host="redis-svc", port=6379, db=0,
max_connections=50, decode_responses=True)
CACHE_TTL = 300
LOCK_TTL = 5
async def get_product_detail(pid: int) -> dict:
cache_key = f"product:detail:v2:{pid}"
# 1. 先查缓存
cached = await redis.get(cache_key)
if cached:
return json.loads(cached)
# 2. 缓存未命中,抢锁防击穿
lock_key = f"lock:{cache_key}"
got_lock = await redis.set(lock_key, "1", nx=True, ex=LOCK_TTL)
if not got_lock:
# 没抢到锁,短暂等待后重试读缓存(最多3次)
for _ in range(3):
await asyncio.sleep(0.05)
cached = await redis.get(cache_key)
if cached:
return json.loads(cached)
# 仍然没有,直接查库(降级,不阻塞)
try:
detail = await build_detail_from_db(pid)
await redis.setex(cache_key, CACHE_TTL, json.dumps(detail, ensure_ascii=False))
return detail
finally:
if got_lock:
await redis.delete(lock_key)
注意key里带了 v2,这是版本号——上次改返回结构时忘了加版本,导致线上缓存反序列化报错,血泪教训。
连接池配置也是个大坑。SQLAlchemy默认 pool_size=5,max_overflow=10。4个worker就是4个池,每池最多15个连接,总共60个连接。压测时 pool_timeout(默认30s)频繁触发,请求排队等连接。调整:
engine = create_engine(
DATABASE_URL,
pool_size=20, # 每worker 20个常驻连接
max_overflow=10, # 峰值可到30
pool_timeout=5, # 等连接最多5秒就报错,快速失败
pool_recycle=1800, # 30分钟回收,避免MySQL 8h断连
pool_pre_ping=True, # 取连接前ping一下,防stale
)
60个连接对MySQL 8.0(默认 max_connections=151)来说有点悬,所以同步把MySQL的 max_connections 调到500,并确认 wait_timeout=28800。
五、踩坑与优化
几个印象深刻的坑:
坑1:uvloop没生效。 一开始以为装了uvloop就行,结果启动命令是 uvicorn app:app --workers 4,没加 --loop uvloop,实际还是asyncio默认loop。后来改成 uvicorn app:app --workers 4 --loop uvloop --http httptools,P50直接降了15%。
坑2:JSON序列化开销。 响应体约40KB,json.dumps 在火焰图里占了8%。换成 orjson(3.9.15),序列化耗时从4.2ms降到0.9ms。FastAPI里可以用 ORJSONResponse 做默认响应类。
坑3:缓存雪崩。 300个key的TTL都是300秒,同一批写入的key会在同一秒集体过期。加随机抖动:
ttl = CACHE_TTL + random.randint(-30, 30)
await redis.setex(cache_key, ttl, payload)
坑4:压测数据不真实。 一开始Locust用固定product_id压测,全打到同一个缓存key,数据好看得离谱(QPS 3000)。后来改成从1000个ID里随机取,才反映真实分布。
六、效果数据
压测配置:Locust 2.20.0,200并发用户,spawn rate 20/s,持续5分钟,单副本(4核8G)测试。
| 指标 | 优化前 | 优化后 | 提升 |
|---|---|---|---|
| QPS | 287 | 1243 | 4.3× |
| P50 | 420ms | 31ms | 13.5× |
| P95 | 1120ms | 68ms | 16.5× |
| P99 | 1830ms | 86ms | 21.3× |
| 错误率 | 2.1% | 0% | - |
| CPU使用率 | 98% | 52% | - |
| DB QPS | 2800 | 180 | 15.5× |
DB QPS下降主要归功于命中率92%的缓存。缓存命中率监控用 redis-cli info stats 的 keyspace_hits/keyspace_misses 算的,上线后稳定在91%-93%。
线上灰度一周,P99稳定在80-95ms区间,告警清零。
七、总结
回头看,这次优化没有黑科技,就是老老实实按"定位 → 验证 → 改 → 压测"的流程走。几个关键点:
- profiling先行,别拍脑袋猜瓶颈。py-spy在线上几乎零成本,比cProfile实用得多。
- 异步框架里绝对不能有同步阻塞调用,一个
requests.get没超时就能拖垮整个服务。 - 索引字段顺序要匹配查询模式,等值在前、排序在后,能省掉filesort。
- 缓存要防击穿、防雪崩、带版本号,这三件事少一件都会在生产环境教你做人。
- 连接池参数要跟worker数量、DB上限一起算,
pool_size × workers别超过DB的max_connections。
最后说一句:性能优化最忌讳"我觉得这里慢"。每一个改动都要有压测数据背书,否则你只是把瓶颈从A挪到了B。