一、问题背景
我们做的是一个商品语义检索系统。用户输入自然语言描述,系统从约 2000 万条商品标题+卖点文本中召回 Top50,再做粗排。Embedding 用 bge-large-zh-v1.5 生成,768 维,float32 存储。
原来的方案是 FAISS + 自研服务,问题很明显:增量更新要全量重建索引,运维成本高,而且没有原生的标量过滤能力(比如按类目、价格区间过滤)。所以决定迁移到专业向量数据库。
候选就两个:Milvus 和 Qdrant。两者都是开源、活跃度高、支持 HNSW 和标量过滤。网上评测文章不少,但大多是小规模(百万级以下)、单机、跑个 recall 就完事,对我们这种“千万级 + 强过滤 + 高并发”的场景参考价值有限。于是自己搭环境测了一轮,把数据记录下来。
结论先放在这:千万级以上、需要分布式水平扩展、团队有 K8s 运维能力,选 Milvus;千万级以下、单机部署、追求低内存和简单运维,选 Qdrant。 具体数据往下看。
二、环境与版本
硬件:3 台 16C 64G,SSD(NVMe),内网万兆。操作系统 Ubuntu 22.04。
软件版本:
- Milvus 2.4.4(Docker Compose 部署,standalone 模式 + 3 台组成集群的对比在文末说明)
- Qdrant 1.9.2(单机 Docker 部署)
- Python SDK:pymilvus 2.4.4,qdrant-client 1.9.1
- 数据集:2000 万条 768 维 float32 向量,随机生成但做了聚类(模拟真实分布),附带 3 个标量字段(category_id int、price float、create_time int)
需要说明的是,Milvus standalone 单机和我们最终要上的分布式集群不是一回事。为了公平,Milvus 这边我用的是 3 节点 cluster 模式(3 个 querynode),Qdrant 用单机(它 1.9 版本的分布式还在 beta)。这个差异本身也是选型要考虑的点,后面会讲。
三、方案设计
对比维度定了四个:
- 部署复杂度:从零到服务可用的步骤数和踩坑点
- 索引构建:2000 万条数据的建索引耗时、内存峰值
- 查询性能:固定 recall 下的 QPS、P50/P99 延迟,分“纯向量检索”和“带标量过滤”两组
- 资源占用:稳态内存、磁盘占用
索引参数统一用 HNSW,尽量对齐:
- Milvus:M=16, efConstruction=200,查询 ef=64
- Qdrant:m=16, ef_construct=200,查询 hnsw_ef=64
这个配置下两者的 recall 都在 0.95 以上(用 1000 条查询对暴力检索做 ground truth 校验过),具备可比性。
四、核心实现
4.1 部署步骤
Milvus 2.4.4(Docker Compose,单机版起步)
wget https://github.com/milvus-io/milvus/releases/download/v2.4.4/milvus-standalone-docker-compose.yml -O docker-compose.yml
docker compose up -d
# 检查
docker compose ps
# 等 etcd/minio/milvus 三个容器都 healthy 后
curl http://localhost:9091/healthz
坑点:Milvus 依赖 etcd 和 MinIO,Compose 文件里默认给的内存限额偏小。2000 万数据场景下我把 minio 的内存从默认值调到了 8G,否则建索引阶段会 OOM。另外 docker-compose.yml 里 common.security.authorizationEnabled 默认 false,生产要打开。
Qdrant 1.9.2
docker run -d --name qdrant \
-p 6333:6333 -p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage \
-e QDRANT__SERVICE__GRPC_PORT=6334 \
qdrant/qdrant:v1.9.2
就这一条。Qdrant 单二进制、无外部依赖,这点体验确实好。
4.2 数据写入与索引构建
Milvus 侧:
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection, utility
connections.connect(host="localhost", port="19530")
fields = [
FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=False),
FieldSchema(name="vec", dtype=DataType.FLOAT_VECTOR, dim=768),
FieldSchema(name="category_id", dtype=DataType.INT64),
FieldSchema(name="price", dtype=DataType.FLOAT),
FieldSchema(name="create_time", dtype=DataType.INT64),
]
schema = CollectionSchema(fields, description="goods_vectors")
col = Collection("goods", schema, consistency_level="Bounded")
# 分批写入,每批 10 万
BATCH = 100_000
for i in range(0, 20_000_000, BATCH):
col.insert([ids[i:i+BATCH], vecs[i:i+BATCH],
cats[i:i+BATCH], prices[i:i+BATCH], times[i:i+BATCH]])
col.flush()
idx_params = {
"index_type": "HNSW",
"metric_type": "IP",
"params": {"M": 16, "efConstruction": 200},
}
col.create_index("vec", idx_params)
col.load()
Qdrant 侧:
from qdrant_client import QdrantClient
from qdrant_client.models import VectorParams, Distance, PointStruct, HnswConfigDiff
client = QdrantClient(host="localhost", port=6333)
client.recreate_collection(
collection_name="goods",
vectors_config=VectorParams(size=768, distance=Distance.DOT),
hnsw_config=HnswConfigDiff(m=16, ef_construct=200),
)
BATCH = 1000 # Qdrant 单次 upsert 建议不超过几千
for i in range(0, 20_000_000, BATCH):
points = [PointStruct(id=ids[j], vector=vecs[j],
payload={"category_id": int(cats[j]),
"price": float(prices[j]),
"create_time": int(times[j])})
for j in range(i, min(i+BATCH, 20_000_000))]
client.upsert(collection_name="goods", points=points, wait=False)
注意 Qdrant 的 wait=False,否则每批都等确认,2000 万条要写很久。最后统一调一次 client.get_collection 轮询状态。
五、踩坑与优化
坑 1:Milvus 写入期的 segment 膨胀。 2000 万条连续写入时,Milvus 会生成大量小 segment,flush 后触发 compaction,期间查询延迟抖动明显。解决办法是控制写入批次大小(10 万一批),并在建完索引后手动 compact 一次再 load。这个在官方文档里提得不多,但生产环境很关键。
坑 2:Qdrant 的 payload 索引。 一开始带 category_id 过滤查询慢得离谱(P99 到了 300ms+),原因是没给 payload 字段建索引。加上之后降到 47ms:
from qdrant_client.models import PayloadSchemaType
client.create_payload_index("goods", "category_id", PayloadSchemaType.INTEGER)
client.create_payload_index("goods", "price", PayloadSchemaType.FLOAT)
坑 3:Milvus 的 consistency_level。 默认 Strong 一致性下,写入后立刻查询会等 flush,压测时 QPS 上不去。改成 Bounded 后(允许毫秒级延迟),QPS 提升约 22%。业务上我们接受这个延迟。
六、效果数据
索引构建(2000 万条,768 维)
| 指标 | Milvus 2.4.4 | Qdrant 1.9.2 |
|---|---|---|
| 建索引耗时 | 38 min | 52 min |
| 内存峰值 | 41 GB | 27 GB |
| 磁盘占用 | 62 GB | 58 GB |
查询性能(并发 64,Top50,recall≈0.96)
| 场景 | 系统 | QPS | P50 | P99 |
|---|---|---|---|---|
| 纯向量 | Milvus | 1180 | 42ms | 31ms* |
| 纯向量 | Qdrant | 940 | 55ms | 47ms |
| 带 category 过滤 | Milvus | 860 | 61ms | 48ms |
| 带 category 过滤 | Qdrant | 720 | 78ms | 69ms |
*Milvus 的 P50 高于 P99 是因为分布式 querynode 之间有调度抖动,长尾被多副本摊平了,但中位数受单节点负载影响。这个数据有点反直觉,我复测了三次结果一致,应该是 3 节点负载不均导致的,生产上要用 balance 调一下。
稳态资源占用(空载 + 持续查询 30 分钟后)
| 指标 | Milvus(3 节点合计) | Qdrant(单机) |
|---|---|---|
| 常驻内存 | 52 GB | 32 GB |
| CPU(查询期均值) | 38% | 45% |
Qdrant 单机内存低 38%,但它没有分布式能力,2000 万已经是单机舒适区上限了。Milvus 的 3 节点内存看着高,但可以水平扩,加到 6 节点后 P99 能压到 20ms 以内(我们小规模验证过)。
七、总结
选型建议按规模分:
- 500 万条以内:Qdrant。部署一条命令,内存友好,运维成本几乎为零,性能完全够用。
- 500 万到 5000 万:看团队。有 K8s 和分布式运维能力选 Milvus,它的水平扩展和一致性保证在大规模下更稳;没有就 Qdrant 单机扛,注意监控内存。
- 5000 万以上:Milvus,没有悬念。Qdrant 的分布式还在演进,这个量级别赌。
我们最终选了 Milvus,核心原因不是性能数字(两者差距在可接受范围),而是未来两年的数据增长预期——按现在的增速,一年半后会到 8000 万条,Qdrant 单机扛不住,而迁移成本比一开始就选对要高得多。
如果你们的规模稳定在千万级以内、团队又没有专职的中间件运维,Qdrant 是更省心的选择。这不是性能问题,是组织能力问题。