一、问题背景:CPU很闲,接口很慢
事情是这样的。我们有个内容详情接口 GET /api/v1/articles/{id},上线初期没什么流量,一切安好。等到日活涨上来,QPS 稳定在 200 左右的时候,监控开始报警:P99 延迟 1.8 秒,P50 也有 400ms。
第一反应是加机器。但看了一眼监控面板我就愣住了——8 核的 Pod,CPU 使用率常年在 30%~35% 之间晃悠,内存也稳得很。这说明瓶颈根本不在计算,而是在等待:等数据库、等锁、等 IO。
技术栈先交代清楚,免得后面代码对不上:
| 组件 | 版本 |
|---|---|
| Python | 3.11.6 |
| FastAPI | 0.109.2 |
| Uvicorn | 0.27.1(4 workers) |
| SQLAlchemy | 2.0.25(同步 ORM,这是伏笔) |
| PostgreSQL | 15.4 |
| Redis | 7.2.4 |
| 压测工具 | locust 2.20.0 |
部署在 K8s 上,单 Pod 4 个 uvicorn worker,副本数 3。压测环境跟生产同规格。
二、定位:先别猜,让 profiler 说话
我见过太多人一上来就"我觉得是数据库慢",然后花两天加了个索引发现没用的。性能优化第一步永远是测量,不是猜。
2.1 py-spy 抓火焰图
线上进程不能随便 attach pdb,用 py-spy 采样最安全,零侵入:
# 安装
pip install py-spy==0.3.14
# 找到 uvicorn worker 的 PID
ps -ef | grep uvicorn
# 采样 30 秒,生成火焰图
py-spy record -o profile.svg --pid 12345 --duration 30 --rate 100
火焰图一出来,问题就很明显了:大量采样堆栈卡在 psycopg2 的 execute() 调用上,而且这些调用是从 async 路由函数里直接发出去的。
再看一眼代码,果然是这么写的:
@app.get("/api/v1/articles/{article_id}")
async def get_article(article_id: int, db: Session = Depends(get_db)):
# async 函数里调同步 ORM —— 事件循环被阻塞
article = db.query(Article).filter(Article.id == article_id).first()
...
这就是最经典的坑:在 async def 里跑同步阻塞代码。uvicorn 的单个 worker 是一个事件循环,同步 DB 查询一执行,整个循环就卡住,其他请求全部排队。4 个 worker 意味着并发能力被硬生生限制在 4,QPS 200 时排队延迟自然爆炸。这也完美解释了"CPU 闲着但接口很慢"。
2.2 顺便看下 SQL 本身
光改异步还不够,我顺手把这条查询的 SQL 拿出来 EXPLAIN ANALYZE 了一下:
EXPLAIN (ANALYZE, BUFFERS)
SELECT * FROM articles WHERE id = 12345;
主键查询,走 Index Scan,0.08ms,没问题。但接口里不止这一条查询——还有作者信息、分类、标签,是个典型的 N+1。用 pg_stat_statements 按总耗时排序一看,真正的大头是这几条:
SELECT * FROM article_tags WHERE article_id = $1; -- 调用 120万次/小时
SELECT * FROM users WHERE id = $1; -- 调用 80万次/小时
article_tags 表 300 万行,article_id 上没有索引,每次都是 Seq Scan,单次 12ms 左右。这就是第二个瓶颈。
三、方案设计:三层递进
定位清楚了,方案就顺理成章,我按收益/成本比排了个序,分三步走:
- 消除阻塞:同步 ORM 换 asyncpg + SQLAlchemy 2.0 async,或者至少用
run_in_threadpool兜底。这一步解决并发模型问题。 - 消除 N+1 + 补索引:用
selectinload预加载关联,给article_tags.article_id加索引。 - 加缓存:热点文章详情上 Redis,TTL 5 分钟 + 主动失效。
每步做完都压测一轮,这样能清楚知道每个改动的贡献,不至于最后"一把梭"说不清谁起了作用。
四、核心实现
4.1 改造为真正的异步
SQLAlchemy 2.0 的 async 支持已经比较成熟了,直接上:
# db.py
from sqlalchemy.ext.asyncio import create_async_engine, async_sessionmaker, AsyncSession
engine = create_async_engine(
"postgresql+asyncpg://user:pass@pg:5432/content",
pool_size=20,
max_overflow=10,
pool_pre_ping=True,
pool_recycle=1800,
echo=False,
)
AsyncSessionLocal = async_sessionmaker(engine, expire_on_commit=False)
async def get_db() -> AsyncSession:
async with AsyncSessionLocal() as session:
yield session
# router.py
from sqlalchemy import select
from sqlalchemy.orm import selectinload
@app.get("/api/v1/articles/{article_id}", response_model=ArticleDetail)
async def get_article(article_id: int, db: AsyncSession = Depends(get_db)):
stmt = (
select(Article)
.options(
selectinload(Article.author),
selectinload(Article.tags),
)
.where(Article.id == article_id)
)
article = (await db.execute(stmt)).scalar_one_or_none()
if article is None:
raise HTTPException(status_code=404, detail="article not found")
return article
selectinload 会把 N+1 变成固定的 3 条 SQL(主表 + 两个 IN (...) 查询),而且都是异步的,事件循环不再被卡。
踩坑提醒:
asyncpg和psycopg2的 DSN 前缀不同,是postgresql+asyncpg://,改配置的时候别漏了。另外expire_on_commit=False一定要加,否则 commit 之后再访问 ORM 属性会触发隐式 IO,在 async 上下文里直接抛MissingGreenlet。
4.2 补索引
-- 300万行的表,用 CONCURRENTLY 避免锁表
CREATE INDEX CONCURRENTLY idx_article_tags_article_id
ON article_tags (article_id);
-- 列表页还有个按状态+发布时间排序的查询,顺手加复合索引
CREATE INDEX CONCURRENTLY idx_articles_status_published
ON articles (status, published_at DESC);
第二条索引是看 pg_stat_statements 时发现的额外收获,列表接口有个 WHERE status='published' ORDER BY published_at DESC LIMIT 20,之前也是 Seq Scan + Sort,加了复合索引后直接 Index Scan,从 85ms 降到 1.2ms。
4.3 Redis 缓存
详情接口是典型的读多写少,缓存收益极高。我没用现成的 fastapi-cache,因为需要精细的失效控制,手写了个装饰器:
import json
from functools import wraps
import redis.asyncio as aioredis
redis = aioredis.from_url(
"redis://redis:6379/0",
encoding="utf-8",
decode_responses=True,
max_connections=50,
)
CACHE_TTL = 300 # 5 分钟
def cache_detail(prefix: str, ttl: int = CACHE_TTL):
def decorator(func):
@wraps(func)
async def wrapper(article_id: int, *args, **kwargs):
key = f"{prefix}:{article_id}"
cached = await redis.get(key)
if cached is not None:
return json.loads(cached)
result = await func(article_id, *args, **kwargs)
# 空值也缓存,防穿透
await redis.set(key, json.dumps(result, default=str), ex=ttl)
return result
return wrapper
return decorator
写路径主动失效:
async def update_article(article_id: int, data: dict, db: AsyncSession):
... # 更新逻辑
await db.commit()
await redis.delete(f"article:detail:{article_id}")
缓存三大坑我都处理了:
- 穿透:不存在的 ID 也缓存空对象(
null),TTL 60 秒。 - 击穿:热点 key 过期瞬间并发回源。我们量级不算极端,用了个简单的进程内
asyncio.Lock按 key 加锁,同一时刻只有一个请求回源。 - 雪崩:TTL 加了 ±60 秒的随机抖动,
ex=ttl + random.randint(-60, 60)。
五、踩坑与优化细节
几个值得单独说的点:
1. 连接池不是越大越好。 一开始我把 pool_size 调到 50,结果 PG 的 max_connections 是 100,3 副本 × 4 worker × 50 直接打满,报 too many clients。最后按 副本数 × worker数 × pool_size ≤ PG上限 × 0.8 反推,定在 20。异步下连接利用率高得多,20 绰绰有余。
2. selectinload vs joinedload。 一对多用 joinedload 会产生笛卡尔积,一篇文章 10 个标签就返回 10 行冗余主表数据。selectinload 是两条独立查询,更合适。这个坑我第一版就踩了,接口响应体体积大了 3 倍。
3. 序列化开销不能忽视。 Pydantic v2 比 v1 快很多,但 response_model 对深层嵌套模型仍然有成本。火焰图第二轮显示 model_dump 占了 8% 的 CPU,我把响应模型从嵌套三层扁平化到两层,省了约 5ms。
4. 别急着上 ORM。 后面我又把最热的详情查询直接写成手写 SQL + text(),绕开 ORM 的实例化开销,单次查询从 3.2ms 降到 1.1ms。ORM 适合复杂写操作,纯读热点场景手写 SQL 真香。
六、效果数据
三轮压测,locust 配置:200 并发用户,持续 10 分钟,--headless -u 200 -r 20。
| 阶段 | QPS | P50 | P95 | P99 | PG QPS | CPU |
|---|---|---|---|---|---|---|
| 优化前 | 198 | 410ms | 1.2s | 1.8s | 4200 | 33% |
| 异步化+索引 | 620 | 95ms | 380ms | 620ms | 1800 | 58% |
| +Redis缓存 | 1450 | 28ms | 95ms | 210ms | 320 | 41% |
| +手写SQL/序列化 | 1680 | 18ms | 62ms | 120ms | 310 | 38% |
最终 P99 从 1.8s 降到 120ms,降幅 93%,数据库 QPS 下降 87%,缓存命中率稳定在 94.7%。单 Pod 承载能力从 200 QPS 提到 1600+,副本数从 3 缩到 2,月度机器成本省了三分之一。
顺带一提,异步化之后有个副作用:错误堆栈变难读了。asyncpg 的异常经常被包在 SQLAlchemyError 里,定位问题得多看一层 __cause__。建议在全局 exception handler 里把 __cause__ 链打全。
七、总结
回头看,这次优化的关键不是某个"银弹",而是先测量再动手这个顺序。如果一上来就加缓存,同步阻塞和缺索引的问题会被掩盖,缓存一失效照样雪崩;如果只改异步不补索引,PG 那边的 Seq Scan 依然是定时炸弹。
给同样在调 FastAPI 性能的同学三条经验:
async def里绝对不能有同步阻塞调用,包括同步 ORM、requests、文件 IO。拿不准就用 py-spy 看一眼,五分钟的事。- 压测要分阶段,每改一处压一次,记下数据。否则最后说不清哪个改动真正有效,也没法判断哪些可以回滚。
- 缓存是最后一步,不是第一步。先把 SQL 和索引搞干净,缓存的收益才稳定,否则缓存里存的就是慢查询的结果。
代码都在上面了,直接抄能跑。有问题评论区见。