一、问题背景
我们团队在做一款面向企业的智能问答产品,底层需要对用户问题做语义检索,召回Top-K相关文档片段再交给大模型。早期用FAISS做本地索引,数据量小的时候挺舒服,但一旦要做增量更新、多副本、按租户隔离,就越来越难维护。于是决定换成专业的向量数据库。
候选方案锁定在两个:Milvus和Qdrant。前者是CNCF毕业项目,生态成熟、支持分布式;后者是Rust写的,主打轻量和单机性能。网上很多文章停留在“Hello World”级别,缺少同场景下的横向实测,所以我自己搭了一套环境跑了一遍,把过程和结论记录下来。
业务侧的硬性要求是:
- 向量维度768(BGE-base-zh),数据量1000万条
- 写入是批量的,每天增量约50万条
- 查询QPS峰值约200,要求P99延迟控制在50ms以内
- 单机部署优先,后续可能扩展到集群
二、环境与版本
所有测试在同一台机器上完成,避免硬件差异干扰:
- CPU:AMD EPYC 7B13,16核
- 内存:64GB
- 磁盘:NVMe SSD 1TB
- OS:Ubuntu 22.04
- Docker:24.0.7
软件版本:
- Milvus:2.4.4(standalone模式,etcd + MinIO + Milvus三件套)
- Qdrant:1.9.1(单容器)
- Python客户端:pymilvus 2.4.4、qdrant-client 1.9.1
数据集:1000万条随机生成的768维float32向量,归一化后用于余弦相似度检索。查询集为1000条随机向量,取Top-10。
三、方案设计
3.1 部署方式
Milvus standalone需要三个容器,用官方的docker-compose.yml即可。Qdrant只需要一个容器。两者都挂载本地volume,保证数据落盘。
3.2 索引选择
- Milvus:使用HNSW索引,参数M=16,efConstruction=200;查询时ef=64。
- Qdrant:同样使用HNSW,m=16,ef_construct=200;查询时hnsw_ef=64。
这样两边算法参数对齐,比较才公平。度量统一用COSINE。
3.3 测试方法
写入阶段:分批插入,每批1万条,记录总耗时和内存峰值。查询阶段:先预热200次,再跑1000次查询,统计P50/P95/P99延迟和QPS。资源占用用docker stats采样,取稳定后的平均值。
四、核心实现
4.1 Milvus部署与建表
docker-compose启动后,用Python建collection并插入数据:
from pymilvus import connections, Collection, CollectionSchema, FieldSchema, DataType
import numpy as np, time
connections.connect(host="127.0.0.1", port="19530")
fields = [
FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
FieldSchema(name="vec", dtype=DataType.FLOAT_VECTOR, dim=768),
]
schema = CollectionSchema(fields=fields, description="bench")
col = Collection(name="bench_milvus", schema=schema)
col.create_index(
field_name="vec",
index_params={"index_type": "HNSW", "metric_type": "COSINE",
"params": {"M": 16, "efConstruction": 200}},
)
def insert_batches(total=10_000_000, batch=10_000):
start = time.time()
for i in range(total // batch):
vecs = np.random.rand(batch, 768).astype(np.float32)
vecs /= np.linalg.norm(vecs, axis=1, keepdims=True)
col.insert([vecs.tolist()])
if i % 100 == 0:
print(f"inserted {(i+1)*batch}")
col.flush()
print("total insert time:", time.time() - start)
注意Milvus的insert是异步的,必须flush之后数据才可见。这一点在压测时容易踩坑,后面会讲。
4.2 Qdrant部署与写入
Qdrant单容器启动:
docker run -d --name qdrant \
-p 6333:6333 -p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage \
qdrant/qdrant:v1.9.1
写入代码:
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
import numpy as np, time
client = QdrantClient(host="127.0.0.1", port=6333)
client.recreate_collection(
collection_name="bench_qdrant",
vectors_config=VectorParams(size=768, distance=Distance.COSINE),
hnsw_config={"m": 16, "ef_construct": 200},
)
def upsert_batches(total=10_000_000, batch=10_000):
start = time.time()
for i in range(total // batch):
vecs = np.random.rand(batch, 768).astype(np.float32)
vecs /= np.linalg.norm(vecs, axis=1, keepdims=True)
points = [PointStruct(id=i*batch+j, vector=vecs[j].tolist())
for j in range(batch)]
client.upsert(collection_name="bench_qdrant", points=points, wait=False)
if i % 100 == 0:
print(f"upserted {(i+1)*batch}")
print("total upsert time:", time.time() - start)
Qdrant的wait=False是异步写入,索引构建在后台进行,这点和Milvus类似。
4.3 查询压测
import numpy as np, time
def bench_milvus(col, queries, topk=10, ef=64):
col.load()
lat = []
for q in queries:
t = time.perf_counter()
col.search([q.tolist()], "vec",
param={"metric_type": "COSINE", "params": {"ef": ef}},
limit=topk)
lat.append((time.perf_counter() - t) * 1000)
return np.percentile(lat, [50, 95, 99]), 1000 / np.mean(lat)
def bench_qdrant(client, queries, topk=10, ef=64):
lat = []
for q in queries:
t = time.perf_counter()
client.search(collection_name="bench_qdrant", query_vector=q.tolist(),
limit=topk, search_params={"hnsw_ef": ef})
lat.append((time.perf_counter() - t) * 1000)
return np.percentile(lat, [50, 95, 99]), 1000 / np.mean(lat)
五、踩坑与优化
坑1:Milvus不flush查不到数据。 第一次压测时查询全部返回空,排查半天发现是insert后没flush。standalone模式下flush是同步落盘,但1000万条数据全量flush会花几分钟,实际生产建议用growing segment配合定时flush。
坑2:Qdrant的wait=False导致索引未就绪。 写入后立即查询,延迟抖动很大,因为后台还在建HNSW图。解决办法是先调用collection info确认indexed_vectors_count接近总量,再开始压测。
坑3:内存超限被OOM kill。 Milvus三件套默认内存没限制,MinIO和etcd也会吃内存。64GB机器上跑1000万条768维向量,Milvus进程峰值到过28GB。建议在docker-compose里给每个容器加mem_limit,并把queryNode的cache.capacity调小。
优化点: Qdrant开启on_disk_payload=true可以显著降低内存,代价是payload读取稍慢;Milvus把index_type换成IVF_SQ8能省内存但召回率下降约2%,看业务取舍。
六、效果数据
| 指标 | Milvus 2.4.4 | Qdrant 1.9.1 |
|---|---|---|
| 全量写入耗时 | 42 min | 31 min |
| 查询P50延迟 | 11 ms | 7 ms |
| 查询P95延迟 | 27 ms | 14 ms |
| 查询P99延迟 | 41 ms | 18 ms |
| 单线程QPS | 78 | 132 |
| 稳定内存占用 | 28.4 GB | 17.6 GB |
| 磁盘占用 | 31 GB | 29 GB |
结论很清晰:在这个单机、中等规模场景下,Qdrant在延迟和内存上都明显更优,Rust的零拷贝和更紧凑的索引结构确实有优势。Milvus的强项不在单机极限性能,而在于分布式扩展、多索引类型、与Spark/Flink的生态集成。如果业务预期一年内数据量会破亿、或者需要多租户和读写分离,Milvus的架构上限更高;如果就是单机跑几千万条、追求部署简单和资源效率,Qdrant是更务实的选择。
我们最终选了Qdrant,因为它更贴合当前“单机+快速迭代”的阶段。等数据量上去,再考虑迁到Milvus集群,迁移成本主要是重新灌数据,schema层面并不复杂。
七、总结
选型这件事没有银弹,关键是看清自己处在什么阶段。这次实测给我最大的感受是:不要被“分布式”“云原生”这些词带偏,单机性能同样是核心竞争力。Milvus和Qdrant都是优秀的项目,前者胜在生态和扩展性,后者胜在轻量和效率。建议后来者一定要拿自己的真实数据和查询模式跑一遍,网上的benchmark只能做参考,参数不对齐时结论可能完全相反。