一、问题背景

我们团队在做一款面向企业的智能问答产品,底层需要对用户问题做语义检索,召回Top-K相关文档片段再交给大模型。早期用FAISS做本地索引,数据量小的时候挺舒服,但一旦要做增量更新、多副本、按租户隔离,就越来越难维护。于是决定换成专业的向量数据库。

候选方案锁定在两个:Milvus和Qdrant。前者是CNCF毕业项目,生态成熟、支持分布式;后者是Rust写的,主打轻量和单机性能。网上很多文章停留在“Hello World”级别,缺少同场景下的横向实测,所以我自己搭了一套环境跑了一遍,把过程和结论记录下来。

业务侧的硬性要求是:
- 向量维度768(BGE-base-zh),数据量1000万条
- 写入是批量的,每天增量约50万条
- 查询QPS峰值约200,要求P99延迟控制在50ms以内
- 单机部署优先,后续可能扩展到集群

二、环境与版本

所有测试在同一台机器上完成,避免硬件差异干扰:

  • CPU:AMD EPYC 7B13,16核
  • 内存:64GB
  • 磁盘:NVMe SSD 1TB
  • OS:Ubuntu 22.04
  • Docker:24.0.7

软件版本:
- Milvus:2.4.4(standalone模式,etcd + MinIO + Milvus三件套)
- Qdrant:1.9.1(单容器)
- Python客户端:pymilvus 2.4.4、qdrant-client 1.9.1

数据集:1000万条随机生成的768维float32向量,归一化后用于余弦相似度检索。查询集为1000条随机向量,取Top-10。

三、方案设计

3.1 部署方式

Milvus standalone需要三个容器,用官方的docker-compose.yml即可。Qdrant只需要一个容器。两者都挂载本地volume,保证数据落盘。

3.2 索引选择

  • Milvus:使用HNSW索引,参数M=16,efConstruction=200;查询时ef=64。
  • Qdrant:同样使用HNSW,m=16,ef_construct=200;查询时hnsw_ef=64。

这样两边算法参数对齐,比较才公平。度量统一用COSINE。

3.3 测试方法

写入阶段:分批插入,每批1万条,记录总耗时和内存峰值。查询阶段:先预热200次,再跑1000次查询,统计P50/P95/P99延迟和QPS。资源占用用docker stats采样,取稳定后的平均值。

四、核心实现

4.1 Milvus部署与建表

docker-compose启动后,用Python建collection并插入数据:

from pymilvus import connections, Collection, CollectionSchema, FieldSchema, DataType
import numpy as np, time

connections.connect(host="127.0.0.1", port="19530")

fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
    FieldSchema(name="vec", dtype=DataType.FLOAT_VECTOR, dim=768),
]
schema = CollectionSchema(fields=fields, description="bench")
col = Collection(name="bench_milvus", schema=schema)

col.create_index(
    field_name="vec",
    index_params={"index_type": "HNSW", "metric_type": "COSINE",
                  "params": {"M": 16, "efConstruction": 200}},
)

def insert_batches(total=10_000_000, batch=10_000):
    start = time.time()
    for i in range(total // batch):
        vecs = np.random.rand(batch, 768).astype(np.float32)
        vecs /= np.linalg.norm(vecs, axis=1, keepdims=True)
        col.insert([vecs.tolist()])
        if i % 100 == 0:
            print(f"inserted {(i+1)*batch}")
    col.flush()
    print("total insert time:", time.time() - start)

注意Milvus的insert是异步的,必须flush之后数据才可见。这一点在压测时容易踩坑,后面会讲。

4.2 Qdrant部署与写入

Qdrant单容器启动:

docker run -d --name qdrant \
  -p 6333:6333 -p 6334:6334 \
  -v $(pwd)/qdrant_storage:/qdrant/storage \
  qdrant/qdrant:v1.9.1

写入代码:

from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
import numpy as np, time

client = QdrantClient(host="127.0.0.1", port=6333)
client.recreate_collection(
    collection_name="bench_qdrant",
    vectors_config=VectorParams(size=768, distance=Distance.COSINE),
    hnsw_config={"m": 16, "ef_construct": 200},
)

def upsert_batches(total=10_000_000, batch=10_000):
    start = time.time()
    for i in range(total // batch):
        vecs = np.random.rand(batch, 768).astype(np.float32)
        vecs /= np.linalg.norm(vecs, axis=1, keepdims=True)
        points = [PointStruct(id=i*batch+j, vector=vecs[j].tolist())
                  for j in range(batch)]
        client.upsert(collection_name="bench_qdrant", points=points, wait=False)
        if i % 100 == 0:
            print(f"upserted {(i+1)*batch}")
    print("total upsert time:", time.time() - start)

Qdrant的wait=False是异步写入,索引构建在后台进行,这点和Milvus类似。

4.3 查询压测

import numpy as np, time

def bench_milvus(col, queries, topk=10, ef=64):
    col.load()
    lat = []
    for q in queries:
        t = time.perf_counter()
        col.search([q.tolist()], "vec",
                   param={"metric_type": "COSINE", "params": {"ef": ef}},
                   limit=topk)
        lat.append((time.perf_counter() - t) * 1000)
    return np.percentile(lat, [50, 95, 99]), 1000 / np.mean(lat)

def bench_qdrant(client, queries, topk=10, ef=64):
    lat = []
    for q in queries:
        t = time.perf_counter()
        client.search(collection_name="bench_qdrant", query_vector=q.tolist(),
                      limit=topk, search_params={"hnsw_ef": ef})
        lat.append((time.perf_counter() - t) * 1000)
    return np.percentile(lat, [50, 95, 99]), 1000 / np.mean(lat)

五、踩坑与优化

坑1:Milvus不flush查不到数据。 第一次压测时查询全部返回空,排查半天发现是insert后没flush。standalone模式下flush是同步落盘,但1000万条数据全量flush会花几分钟,实际生产建议用growing segment配合定时flush。

坑2:Qdrant的wait=False导致索引未就绪。 写入后立即查询,延迟抖动很大,因为后台还在建HNSW图。解决办法是先调用collection info确认indexed_vectors_count接近总量,再开始压测。

坑3:内存超限被OOM kill。 Milvus三件套默认内存没限制,MinIO和etcd也会吃内存。64GB机器上跑1000万条768维向量,Milvus进程峰值到过28GB。建议在docker-compose里给每个容器加mem_limit,并把queryNode的cache.capacity调小。

优化点: Qdrant开启on_disk_payload=true可以显著降低内存,代价是payload读取稍慢;Milvus把index_type换成IVF_SQ8能省内存但召回率下降约2%,看业务取舍。

六、效果数据

指标 Milvus 2.4.4 Qdrant 1.9.1
全量写入耗时 42 min 31 min
查询P50延迟 11 ms 7 ms
查询P95延迟 27 ms 14 ms
查询P99延迟 41 ms 18 ms
单线程QPS 78 132
稳定内存占用 28.4 GB 17.6 GB
磁盘占用 31 GB 29 GB

结论很清晰:在这个单机、中等规模场景下,Qdrant在延迟和内存上都明显更优,Rust的零拷贝和更紧凑的索引结构确实有优势。Milvus的强项不在单机极限性能,而在于分布式扩展、多索引类型、与Spark/Flink的生态集成。如果业务预期一年内数据量会破亿、或者需要多租户和读写分离,Milvus的架构上限更高;如果就是单机跑几千万条、追求部署简单和资源效率,Qdrant是更务实的选择。

我们最终选了Qdrant,因为它更贴合当前“单机+快速迭代”的阶段。等数据量上去,再考虑迁到Milvus集群,迁移成本主要是重新灌数据,schema层面并不复杂。

七、总结

选型这件事没有银弹,关键是看清自己处在什么阶段。这次实测给我最大的感受是:不要被“分布式”“云原生”这些词带偏,单机性能同样是核心竞争力。Milvus和Qdrant都是优秀的项目,前者胜在生态和扩展性,后者胜在轻量和效率。建议后来者一定要拿自己的真实数据和查询模式跑一遍,网上的benchmark只能做参考,参数不对齐时结论可能完全相反。