大模型

ragflow4j 开发记录 - 2025-03-08

ragflow4j 开发记录 - 2025-03-08

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

今天主要完成了Document Embedding模块的设计和实现工作,具体包括:

  1. 1. Document Embedding接口设计
  • 设计了向量化服务接口,定义核心方法

  • 实现了模型加载机制,支持多种模型格式

  • 设计了缓存策略,优化性能

  • 添加了异步处理机制

  1. 2. 集成主流embedding模型
  • 集成了ONNX框架,支持多种预训练模型

  • 实现了模型推理封装,简化调用流程

  • 添加了批处理优化,提高处理效率

  • 实现了模型切换机制

  1. 3. 实现向量化服务
  • 实现了异步处理队列,支持并发处理

  • 添加了结果聚合功能,提高准确性

  • 实现了性能监控指标,方便调优

  • 添加了错误处理机制

  1. 4. 代码优化和规范
  • 采用了Builder模式配置服务

  • 实现了清晰的接口层次结构

  • 添加了详细的代码注释

  • 遵循Java 8编码规范

  1. 5. 核心代码实现展示

首先是EmbeddingModel接口的定义,这是整个向量化服务的核心接口:

public interface EmbeddingModel {
    /**
     * 将文本转换为向量表示
     *
     * @param text 需要向量化的文本
     * @return 向量化结果,包含向量数据和元信息
     */
    Response<Embedding> embed(String text);

    /**
     * 批量处理文本向量化
     *
     * @param texts 需要向量化的文本列表
     * @return 批量向量化结果
     */
    Response<List<Embedding>> embedBatch(List<String> texts);

    /**
     * 获取模型配置信息
     *
     * @return 当前模型配置
     */
    ModelConfig getConfig();
}

接下来是ONNX模型实现的核心部分:

public class OnnxEmbeddingModel extends AbstractInProcessEmbeddingModel {
    private final OnnxBertBiEncoder onnxBertBiEncoder;

    /**
     * 构造函数,初始化ONNX模型
     *
     * @param pathToModel 模型文件路径
     * @param pathToTokenizer 分词器文件路径
     * @param poolingMode 池化模式
     */
    public OnnxEmbeddingModel(Path pathToModel, Path pathToTokenizer, PoolingMode poolingMode) {
        super(null);
        this.onnxBertBiEncoder = loadFromFileSystem(pathToModel, pathToTokenizer, poolingMode);
    }

    @Override
    protected OnnxBertBiEncoder model() {
        return onnxBertBiEncoder;
    }
}

最后是向量化服务的工厂类实现:

public class EmbeddingFactory {
    private static final Map<String, EmbeddingModel> modelCache = new ConcurrentHashMap<>();

    /**
     * 获取或创建向量化模型实例
     *
     * @param modelConfig 模型配置信息
     * @return 向量化模型实例
     */
    public static EmbeddingModel getModel(ModelConfig modelConfig) {
        return modelCache.computeIfAbsent(modelConfig.getId(), id -> createModel(modelConfig));
    }

    private static EmbeddingModel createModel(ModelConfig modelConfig) {
        switch (modelConfig.getType()) {
            case ONNX:
                return new OnnxEmbeddingModel(
                    modelConfig.getModelPath(),
                    modelConfig.getTokenizerPath(),
                    modelConfig.getPoolingMode()
                );
            // 支持更多模型类型...
            default:
                throw new UnsupportedOperationException("不支持的模型类型");
        }
    }
}

⭐️Tips⭐️:今天的代码AI完成度很小,估计占比约15%左右,大部分是人工补充,这和前几天的情况区别很大。应该是claude训练用的代码中涉及这部分的内容很少导致。而目前AI编程工具在直接参考外部仓库源码上做的也还不够细致,后续应该是一个需要重点迭代的功能点。

明日开发重点🎯

  1. 1. Vector Store接口设计
  • 设计Milvus访问层接口

  • 实现向量索引管理

  • 实现批量导入优化

  1. 2. 集成Milvus向量数据库
  • 配置Milvus连接池

  • 实现CRUD操作封装

  • 实现向量检索接口

  1. 3. 实现向量存储服务
  • 实现数据分片策略

  • 实现缓存机制

  • 实现异步处理

温馨提示:欢迎关注公众号【猿悟人生】获取最新开发进展

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿