一、问题背景

事情是这样的。我们有个电商项目,商品详情接口 GET /api/v1/products/{id} 一直跑得还行,直到运营搞了个秒杀预热活动,流量从平时QPS 50涨到300左右,接口P99直接从200ms飙到1.8s,前端页面白屏,监控告警响了一晚上。

诡异的地方在于:数据库CPU只有30%,慢查询日志里也没几条记录。这说明瓶颈大概率不在DB层,而是在应用层——要么是Python代码里有阻塞,要么是连接池不够用,要么是序列化开销太大。

这个接口的逻辑很简单:查商品基本信息 → 查SKU列表 → 查库存 → 查促销标签 → 组装返回。看起来人畜无害,但魔鬼在细节里。

二、环境与版本

先把环境交代清楚,不然复现不了:

  • Python 3.11.6
  • FastAPI 0.109.2 + Uvicorn 0.27.0(workers=4,loop="uvloop")
  • SQLAlchemy 2.0.25(同步Session,没上async,这是伏笔)
  • MySQL 8.0.35,InnoDB,缓冲池16G
  • Redis 7.2.4
  • 部署:4核8G容器 × 3副本,Nginx做LB
  • 压测工具:Locust 2.20.0

注意 workers=4 这个配置——4核机器开4个worker,每个worker是独立进程,意味着数据库连接池是每进程一份的,这个后面会踩坑。

三、方案设计

我的排查思路分三步走,不搞玄学:

第一步,定位。 用 py-spy 做采样profiling,因为它能attach到运行中的进程,对线上服务几乎零侵入(采样频率默认100Hz,开销 list[str]:
try:
resp = await _client.get(
f"http://marketing-svc/tags",
params={"pid": product_id},
headers={"X-Request-From": "product-api"},
)
resp.raise_for_status()
return resp.json().get("tags", [])
except (httpx.TimeoutException, httpx.HTTPStatusError):
# 降级:营销标签不是核心数据,失败就返回空
return []

### 4.2 数据库查询优化

火焰图第二块热点在SQLAlchemy的 `session.execute`,占比约25%。把慢查询日志和 `EXPLAIN ANALYZE` 拉出来看:

```sql
-- 原查询(简化版)
SELECT s.* FROM sku s 
WHERE s.product_id = 12345 AND s.status = 1 
ORDER BY s.sort_weight DESC;

EXPLAIN ANALYZE 显示 type=ALL,扫了80万行,rows_examined=784321,实际耗时 320ms。表上只有 product_id 单列索引,但查询条件是 product_id + status 组合,且要按 sort_weight 排序,单列索引回表后还得filesort。

加复合索引,注意字段顺序:等值条件在前,排序字段在后,这样能同时吃掉过滤和排序。

ALTER TABLE sku 
ADD INDEX idx_pid_status_weight (product_id, status, sort_weight DESC),
ALGORITHM=INPLACE, LOCK=NONE;

改完后 type=ref,rows_examined=12,耗时 1.2ms。320ms → 1.2ms,这个提升主要来自索引覆盖了排序,消除了filesort。

还有个坑:ORM里的N+1查询。原代码在循环里逐个查库存:

# 反例:N+1
skus = session.query(SKU).filter_by(product_id=pid).all()
for sku in skus:  # 每个sku一次查询
    sku.stock = session.query(Stock).filter_by(sku_id=sku.id).first().count

改成一次 IN 查询 + 内存join,10个SKU从10次round-trip降到1次:

sku_ids = [s.id for s in skus]
stocks = {s.sku_id: s.count for s in 
          session.query(Stock).filter(Stock.sku_id.in_(sku_ids)).all()}
for sku in skus:
    sku.stock = stocks.get(sku.id, 0)

4.3 缓存策略

商品详情是典型的读多写少,天然适合缓存。但缓存设计有几个讲究:

  1. 缓存粒度:缓存整个组装好的响应JSON,而不是缓存每个子查询,避免多次Redis round-trip。
  2. TTL + 主动失效:TTL设300秒兜底,商品变更时通过消息队列主动删key。
  3. 防击穿:热点key过期瞬间大量请求穿透到DB,用 SET NX 分布式锁 + 双重检查。
import json, asyncio
from redis.asyncio import Redis

redis = Redis(host="redis-svc", port=6379, db=0, 
              max_connections=50, decode_responses=True)

CACHE_TTL = 300
LOCK_TTL = 5

async def get_product_detail(pid: int) -> dict:
    cache_key = f"product:detail:v2:{pid}"

    # 1. 先查缓存
    cached = await redis.get(cache_key)
    if cached:
        return json.loads(cached)

    # 2. 缓存未命中,抢锁防击穿
    lock_key = f"lock:{cache_key}"
    got_lock = await redis.set(lock_key, "1", nx=True, ex=LOCK_TTL)

    if not got_lock:
        # 没抢到锁,短暂等待后重试读缓存(最多3次)
        for _ in range(3):
            await asyncio.sleep(0.05)
            cached = await redis.get(cache_key)
            if cached:
                return json.loads(cached)
        # 仍然没有,直接查库(降级,不阻塞)

    try:
        detail = await build_detail_from_db(pid)
        await redis.setex(cache_key, CACHE_TTL, json.dumps(detail, ensure_ascii=False))
        return detail
    finally:
        if got_lock:
            await redis.delete(lock_key)

注意key里带了 v2,这是版本号——上次改返回结构时忘了加版本,导致线上缓存反序列化报错,血泪教训。

连接池配置也是个大坑。SQLAlchemy默认 pool_size=5,max_overflow=10。4个worker就是4个池,每池最多15个连接,总共60个连接。压测时 pool_timeout(默认30s)频繁触发,请求排队等连接。调整:

engine = create_engine(
    DATABASE_URL,
    pool_size=20,           # 每worker 20个常驻连接
    max_overflow=10,        # 峰值可到30
    pool_timeout=5,         # 等连接最多5秒就报错,快速失败
    pool_recycle=1800,      # 30分钟回收,避免MySQL 8h断连
    pool_pre_ping=True,     # 取连接前ping一下,防stale
)

60个连接对MySQL 8.0(默认 max_connections=151)来说有点悬,所以同步把MySQL的 max_connections 调到500,并确认 wait_timeout=28800。

五、踩坑与优化

几个印象深刻的坑:

坑1:uvloop没生效。 一开始以为装了uvloop就行,结果启动命令是 uvicorn app:app --workers 4,没加 --loop uvloop,实际还是asyncio默认loop。后来改成 uvicorn app:app --workers 4 --loop uvloop --http httptools,P50直接降了15%。

坑2:JSON序列化开销。 响应体约40KB,json.dumps 在火焰图里占了8%。换成 orjson(3.9.15),序列化耗时从4.2ms降到0.9ms。FastAPI里可以用 ORJSONResponse 做默认响应类。

坑3:缓存雪崩。 300个key的TTL都是300秒,同一批写入的key会在同一秒集体过期。加随机抖动:

ttl = CACHE_TTL + random.randint(-30, 30)
await redis.setex(cache_key, ttl, payload)

坑4:压测数据不真实。 一开始Locust用固定product_id压测,全打到同一个缓存key,数据好看得离谱(QPS 3000)。后来改成从1000个ID里随机取,才反映真实分布。

六、效果数据

压测配置:Locust 2.20.0,200并发用户,spawn rate 20/s,持续5分钟,单副本(4核8G)测试。

指标 优化前 优化后 提升
QPS 287 1243 4.3×
P50 420ms 31ms 13.5×
P95 1120ms 68ms 16.5×
P99 1830ms 86ms 21.3×
错误率 2.1% 0% -
CPU使用率 98% 52% -
DB QPS 2800 180 15.5×

DB QPS下降主要归功于命中率92%的缓存。缓存命中率监控用 redis-cli info stats 的 keyspace_hits/keyspace_misses 算的,上线后稳定在91%-93%。

线上灰度一周,P99稳定在80-95ms区间,告警清零。

七、总结

回头看,这次优化没有黑科技,就是老老实实按"定位 → 验证 → 改 → 压测"的流程走。几个关键点:

  1. profiling先行,别拍脑袋猜瓶颈。py-spy在线上几乎零成本,比cProfile实用得多。
  2. 异步框架里绝对不能有同步阻塞调用,一个 requests.get 没超时就能拖垮整个服务。
  3. 索引字段顺序要匹配查询模式,等值在前、排序在后,能省掉filesort。
  4. 缓存要防击穿、防雪崩、带版本号,这三件事少一件都会在生产环境教你做人。
  5. 连接池参数要跟worker数量、DB上限一起算,pool_size × workers 别超过DB的 max_connections。

最后说一句:性能优化最忌讳"我觉得这里慢"。每一个改动都要有压测数据背书,否则你只是把瓶颈从A挪到了B。