闲社

标题: 【教程】阿里zvec向量数据库实战：5分钟搭建本地AI语义搜索引擎 [打印本页]

---

作者: alt-sky    时间: 1 小时前
标题: 【教程】阿里zvec向量数据库实战：5分钟搭建本地AI语义搜索引擎
前言

最近GitHub Trending上阿里开源的zvec火得不行——10K+星标，号称"轻量级、闪电般速度的进程内向量数据库"。它支持Python/Node.js/Go/Rust/Dart多语言SDK，最近v0.5.0还新增了全文检索和混合检索功能。

今天这篇教程，手把手教你用zvec搭建一个本地AI语义搜索引擎，实现"以文搜文"的核心能力。无需Docker，无需配置服务器，pip安装即用。

一、前置条件

• Python 3.10 - 3.14
  
• 至少4GB内存（建议8GB以上）
  
• 一个文本嵌入模型（本教程使用 sentence-transformers）
  

安装依赖：

1. pip install zvec sentence-transformers

复制代码

二、步骤详解

步骤1：创建向量数据库集合

首先定义数据集合的结构。zvec使用 CollectionSchema 来声明字段：

1. import zvec
3. # 定义集合结构
4. schema = zvec.CollectionSchema(
5.     name="docs",
6.     vectors=zvec.VectorSchema(
7.         "embedding",           # 向量字段名
8.         zvec.DataType.VECTOR_FP32,  # 数据类型
9.         384                      # 向量维度（取决于嵌入模型）
10.     ),
11.     fields=[
12.         zvec.FieldSchema("title", zvec.DataType.STRING),
13.         zvec.FieldSchema("content", zvec.DataType.STRING),
14.     ]
15. )
17. # 创建并打开集合
18. collection = zvec.create_and_open(
19.     path="./my_search_db",
20.     schema=schema
21. )

复制代码

步骤2：生成文本嵌入并插入数据

使用 sentence-transformers 将文本转为向量，然后存入zvec：

1. from sentence_transformers import SentenceTransformer
3. # 加载轻量级嵌入模型（384维）
4. model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
6. # 示例文档
7. documents = [
8.     {"id": "doc1", "title": "Rust入门指南", "content": "Rust是一门系统编程语言，注重安全和性能..."},
9.     {"id": "doc2", "title": "Python异步编程", "content": "asyncio是Python标准库中的异步I/O框架..."},
10.     {"id": "doc3", "title": "向量数据库对比", "content": "zvec、Milvus、Pinecone都是流行的向量数据库..."},
11. ]
13. # 批量插入
14. for doc in documents:
15.     embedding = model.encode(doc["content"]).tolist()
16.     collection.insert([
17.         zvec.Doc(
18.             id=doc["id"],
19.             vectors={"embedding": embedding},
20.             fields={
21.                 "title": doc["title"],
22.                 "content": doc["content"]
23.             }
24.         )
25.     ])
27. print(f"已插入 {len(documents)} 条文档")

复制代码

步骤3：执行语义搜索

输入查询文本，zvec会自动找到语义最相近的文档：

1. def semantic_search(query, top_k=3):
2.     # 将查询转为向量
3.     query_vec = model.encode(query).tolist()
4.    
5.     # 执行向量搜索
6.     results = collection.query(
7.         zvec.VectorQuery("embedding", vector=query_vec),
8.         topk=top_k
9.     )
10.    
11.     print(f"\n查询：'{query}'\n{'='*50}")
12.     for i, r in enumerate(results, 1):
13.         print(f"{i}. [{r['fields']['title']}] 相似度: {r['score']:.4f}")
14.         print(f"   {r['fields']['content'][:80]}...\n")
16. # 测试搜索
17. semantic_search("如何学习系统编程")
18. semantic_search("Python并发处理")

复制代码

步骤4：混合检索（向量+全文）

zvec v0.5.0 支持混合检索，同时匹配语义相似度和关键词：

1. # 先创建全文索引（只需执行一次）
2. collection.create_index(
3.     "content_fts",
4.     zvec.IndexType.FULL_TEXT,
5.     field="content"
6. )
8. # 混合查询
9. results = collection.query(
10.     zvec.MultiQuery([
11.         zvec.VectorQuery("embedding", vector=query_vec, weight=0.7),
12.         zvec.TextQuery("content", text="Python 异步", weight=0.3)
13.     ]),
14.     topk=5
15. )

复制代码

三、完整可运行代码

1. #!/usr/bin/env python3
2. """
3. zvec 语义搜索引擎 - 完整示例
4. 依赖: pip install zvec sentence-transformers
5. """
7. import zvec
8. from sentence_transformers import SentenceTransformer
10. # 1. 初始化
11. schema = zvec.CollectionSchema(
12.     name="docs",
13.     vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 384),
14.     fields=[
15.         zvec.FieldSchema("title", zvec.DataType.STRING),
16.         zvec.FieldSchema("content", zvec.DataType.STRING),
17.     ]
18. )
20. collection = zvec.create_and_open(path="./search_db", schema=schema)
21. model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
23. # 2. 插入数据
24. docs = [
25.     {"id": "1", "title": "Rust所有权机制", "content": "Rust通过所有权系统管理内存，无需垃圾回收器..."},
26.     {"id": "2", "title": "Python装饰器详解", "content": "装饰器是Python的高阶函数，用于扩展函数功能..."},
27.     {"id": "3", "title": "Docker容器化部署", "content": "Docker通过容器技术实现应用隔离和快速部署..."},
28. ]
30. for d in docs:
31.     vec = model.encode(d["content"]).tolist()
32.     collection.insert([zvec.Doc(
33.         id=d["id"],
34.         vectors={"embedding": vec},
35.         fields={"title": d["title"], "content": d["content"]}
36.     )])
38. # 3. 搜索
39. query = "内存管理技术"
40. qvec = model.encode(query).tolist()
41. results = collection.query(zvec.VectorQuery("embedding", vector=qvec), topk=3)
43. print(f"查询: {query}")
44. for r in results:
45.     print(f"  {r['fields']['title']} (score: {r['score']:.3f})")

复制代码

四、常见问题

• Q: zvec和Milvus/Pinecone有什么区别？
  A: zvec是进程内数据库，无需单独部署服务，适合嵌入应用。Milvus/Pinecone是独立服务，适合大规模分布式场景。
  
  
• Q: 向量维度必须固定吗？
  A: 是的，创建集合时需要指定维度。如果更换嵌入模型，需要重新创建集合。
  
  
• Q: 数据持久化吗？
  A: 是的，zvec使用WAL（预写日志）保证数据持久化，即使进程崩溃也不会丢失数据。
  
  
• Q: 支持多进程并发吗？
  A: 支持多进程同时读取，但写入是单进程独占的。
  
  
• Q: 有可视化工具吗？
  A: 有！官方提供了 Zvec Studio，可以图形化浏览数据和调试查询。
  

五、总结

通过本教程，你学会了：

• 用zvec创建向量数据库集合
  
• 将文本转为向量并存储
  
• 执行语义相似度搜索
  
• 使用混合检索提升搜索质量
  

zvec的最大优势是极简——pip安装、几行代码就能跑起来，非常适合快速原型和中小型项目。如果你的应用需要海量数据（十亿级以上），可以考虑Milvus或Pinecone；但对于大多数场景，zvec完全够用。

下一步建议：尝试用zvec搭建一个个人知识库搜索，或者给现有项目加上语义搜索能力。有问题欢迎在楼下讨论！

---
参考资料：

• zvec GitHub 仓库
  
• 官方快速入门文档
  
• Zvec Studio 可视化工具
  

---

欢迎光临 闲社 (https://www.xianshe.com/)

Powered by Discuz! X5.0