大模型

ragflow4j 开发记录 - 2025-03-09

ragflow4j 开发记录 - 2025-03-09

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

这两天使用免费的Trae进行代码开发,实际验证之后,发现效果其实很差。今天是使用了grok3辅助完成的。Cursor的整体效果比Trae要好很多,不差钱的同学建议使用Cursor。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

今天主要完成了Vector Store接口的设计和实现,这是RAG系统中的核心组件之一。主要工作包括:

  1. 1. Vector Store接口设计
  • 设计了统一的向量存储接口,支持异步操作

  • 实现了向量的增删改查基本操作

  • 添加了批量处理和优化接口

核心接口代码如下:

public interface VectorStore {
    /**
     * 添加向量
     *
     * @param vectors 向量列表
     * @param metadata 元数据列表
     * @return 添加结果
     */
    CompletableFuture<Boolean> addVectors(List<float[]> vectors, List<String> metadata);

    /**
     * 批量添加向量
     *
     * @param vectors 向量列表
     * @param metadata 元数据列表
     * @param batchSize 批次大小
     * @return 添加结果
     */
    CompletableFuture<Boolean> addVectorsBatch(List<float[]> vectors, List<String> metadata, int batchSize);

    /**
     * 搜索相似向量
     *
     * @param queryVector 查询向量
     * @param topK 返回结果数量
     * @return 搜索结果
     */
    CompletableFuture<List<SearchResult>> search(float[] queryVector, int topK);
}
  1. 2. Milvus访问层实现
  • 配置了Milvus连接池,优化资源使用

  • 实现了向量索引的创建和管理

  • 封装了基本的CRUD操作

  1. 3. 性能优化设计
  • 实现了数据分片策略,提高并行处理能力

  • 添加了缓存机制,减少重复查询

  • 设计了异步处理框架,提高系统吞吐量

  1. 4. milvus参考链接

明日开发重点🎯

  1. 1. Knowledge Service整体架构设计
  • 设计RESTful API接口规范

  • 实现服务注册发现机制

  • 配置负载均衡策略

  1. 2. API接口设计
  • 定义统一的API规范

  • 实现接口参数验证

  • 添加Swagger API文档

  1. 3. 基础服务实现
  • 实现数据访问层

  • 配置事务管理机制

  • 添加服务监控指标

温馨提示:欢迎关注公众号【猿悟人生】获取最新开发进展

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿