大模型

ragflow4j 开发记录 - 2025-03-07

ragflow4j 开发记录 - 2025-03-07

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

Document Splitter模块开发

    1. 接口设计
    public interface DocumentSplitter {
        List<String> split(String content);
        boolean supports(String contentType);
        SplitterConfig getConfig();
    }
  • 定义DocumentSplitter核心接口,包含split、supports等方法

  • 采用工厂模式实现SplitterFactory管理多种分割器

    1. 分割器实现
    public class MarkdownSplitter implements DocumentSplitter {
        private static final String CONTENT_TYPE = "text/markdown";
    
        @Override
        public List<String> split(String content) {
            // 实现基于标题和段落的分割逻辑
            return Arrays.stream(content.split("#+"))
                   .filter(s -> !s.isBlank())
                   .collect(Collectors.toList());
        }
    }
  • 实现LengthBasedSplitter支持重叠分割

  • 开发基于标记的MarkdownSplitter:

    1. 工厂模式集成
    public class SplitterFactory {
        private static final Map<String, DocumentSplitter> splitters = new HashMap<>();
    
        static {
            registerSplitter("text/markdown", new MarkdownSplitter());
            registerSplitter("text/plain", new TextSplitter());
        }
    }
  • 在SplitterFactory中注册多种分割器

今日总结 🌟

  1. 1. 完成文档分割器接口层次设计,支持扩展多种分割策略

  2. 2. 实现基于标记和长度的两种分割器类型

  3. 3. 采用工厂模式实现分割器的统一管理

  4. 4. 代码符合Java8规范,添加完整单元测试

明日开发重点 🎯

Document Embedding模块开发(参照dev-plan-2025.md第6-7天)

    1. 向量化服务设计
  • 定义EmbeddingService接口

  • 设计模型加载机制

  • 实现批处理优化

    1. 主流模型集成
    public class SBERTEmbedding implements EmbeddingService {
        @Override
        public float[] embed(String text) {
            // 使用DJL加载预训练模型
            return predictor.predict(text);
        }
    }
  • 集成DJL框架支持多模型

  • 实现Sentence-BERT封装

    1. 异步处理机制
  • 实现任务队列管理

  • 添加结果聚合功能

  • 配置性能监控指标

    1. 缓存策略实现
  • 设计LRU缓存结构

  • 实现异步缓存更新

  • 添加缓存命中率统计

温馨提示:欢迎关注公众号【猿悟人生】获取最新开发进展

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿