大模型

ragflow4j 开发记录 - 2025-03-04

ragflow4j 开发记录 - 2025-03-04

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

今天主要完成了文档加载器(Document Loader)相关的开发工作,这是RAG系统中的重要基础组件。主要包括以下内容:

1. 核心接口设计

设计了DocumentLoader接口,定义了文档加载的核心功能:

public interface DocumentLoader {
    // 同步加载文档内容
    String load(Path path) throws IOException;

    // 异步加载文档内容
    CompletableFuture<String> loadAsync(Path path);

    // 检查是否支持指定文件类型
    boolean supports(Path path);
}

2. 文本文档加载器实现

实现了TextDocumentLoader,支持多种编码格式的文本文件处理:

public class TextDocumentLoader extends AbstractDocumentLoader {
    private static final String[] SUPPORTED_EXTENSIONS = {".txt", ".text", ".log"};

    @Override
    public String load(Path path) throws IOException {
        // ... 文件验证代码 ...

        byte[] bytes = Files.readAllBytes(path);
        String charset = null;
        int offset = 0;

        // 检测BOM标记
        if (bytes.length >= 2) {
            if (bytes[0] == (byte)0xFE && bytes[1] == (byte)0xFF) {
                charset = StandardCharsets.UTF_16BE.name();
                offset = 2;
            } else if (bytes[0] == (byte)0xFF && bytes[1] == (byte)0xFE) {
                charset = StandardCharsets.UTF_16LE.name();
                offset = 2;
            } else if (bytes.length >= 3 &&
                      bytes[0] == (byte)0xEF &&
                      bytes[1] == (byte)0xBB &&
                      bytes[2] == (byte)0xBF) {
                charset = StandardCharsets.UTF_8.name();
                offset = 3;
            }
        }

        // 使用UniversalDetector检测字符集
        if (charset == null) {
            UniversalDetector detector = new UniversalDetector(null);
            detector.handleData(bytes, 0, bytes.length);
            detector.dataEnd();
            charset = detector.getDetectedCharset();
            detector.reset();
        }

        // 默认使用UTF-8
        if (charset == null) {
            charset = StandardCharsets.UTF_8.name();
        }

        return new String(bytes, offset, bytes.length - offset, charset);
    }
}

3. PDF文档加载器实现

实现了PdfDocumentLoader,使用Apache PDFBox处理PDF文件:

public class PdfDocumentLoader extends AbstractDocumentLoader {
    @Override
    public String load(Path path) throws IOException {
        try (PDDocument document = PDDocument.load(path.toFile())) {
            PDFTextStripper stripper = new PDFTextStripper();
            String content = stripper.getText(document);

            // 提取元数据
            PDDocumentInformation info = document.getDocumentInformation();
            if (info != null) {
                // 添加文档元数据到内容中
                StringBuilder metadata = new StringBuilder();
                appendIfNotNull(metadata, "Title", info.getTitle());
                appendIfNotNull(metadata, "Author", info.getAuthor());
                appendIfNotNull(metadata, "Subject", info.getSubject());
                // ... 其他元数据处理 ...

                return metadata.toString() + "\n---\nDocument Content:\n" + content;
            }
            return content;
        }
    }
}

4. 工厂类实现

实现了DocumentLoaderFactory,用于管理和创建文档加载器:

public class DocumentLoaderFactory {
    private static final List<DocumentLoader> loaders = new ArrayList<>();

    static {
        // 注册默认加载器
        registerLoader(new TextDocumentLoader());
        registerLoader(new PdfDocumentLoader());
    }

    public static Optional<DocumentLoader> getLoader(Path path) {
        return loaders.stream()
            .filter(loader -> loader.supports(path))
            .findFirst();
    }
}

5. 单元测试完善

为所有实现编写了完整的单元测试,包括:

  • 文件格式支持测试

  • 编码处理测试

  • 异步加载测试

  • 异常处理测试

  • 并发处理测试

技术要点

    1. 编码处理:
  • 实现了BOM(字节顺序标记)检测

  • 使用UniversalDetector进行字符集自动检测

  • 支持UTF-8、UTF-16BE、UTF-16LE等编码

    1. 异步处理:
  • 使用CompletableFuture实现异步加载

  • 支持超时控制

  • 实现了线程安全的加载器注册机制

    1. 扩展性设计:
  • 使用工厂模式管理加载器

  • 支持动态注册新的加载器

  • 提供了抽象基类简化实现

明日开发重点 🎯

根据开发计划,明天将重点完成以下任务:

  1. 1. 实现Word文档加载器
  • 集成Apache POI

  • 实现DOC/DOCX解析

  • 实现文档元数据提取

  1. 2. 实现Markdown文档加载器
  • 集成CommonMark解析器

  • 实现Markdown格式化

  • 提取文档结构

  1. 3. Document Parser接口设计
  • 设计解析器接口层次

  • 实现解析器链模式

  • 定义解析结果模型

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿