大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。
欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。
项目简介 📖
ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。
今日工作内容 ✨
今天主要完成了文档加载器(Document Loader)相关的开发工作,这是RAG系统中的重要基础组件。主要包括以下内容:
1. 核心接口设计
设计了DocumentLoader接口,定义了文档加载的核心功能:
public interface DocumentLoader {
// 同步加载文档内容
String load(Path path) throws IOException;
// 异步加载文档内容
CompletableFuture<String> loadAsync(Path path);
// 检查是否支持指定文件类型
boolean supports(Path path);
}
2. 文本文档加载器实现
实现了TextDocumentLoader,支持多种编码格式的文本文件处理:
public class TextDocumentLoader extends AbstractDocumentLoader {
private static final String[] SUPPORTED_EXTENSIONS = {".txt", ".text", ".log"};
@Override
public String load(Path path) throws IOException {
// ... 文件验证代码 ...
byte[] bytes = Files.readAllBytes(path);
String charset = null;
int offset = 0;
// 检测BOM标记
if (bytes.length >= 2) {
if (bytes[0] == (byte)0xFE && bytes[1] == (byte)0xFF) {
charset = StandardCharsets.UTF_16BE.name();
offset = 2;
} else if (bytes[0] == (byte)0xFF && bytes[1] == (byte)0xFE) {
charset = StandardCharsets.UTF_16LE.name();
offset = 2;
} else if (bytes.length >= 3 &&
bytes[0] == (byte)0xEF &&
bytes[1] == (byte)0xBB &&
bytes[2] == (byte)0xBF) {
charset = StandardCharsets.UTF_8.name();
offset = 3;
}
}
// 使用UniversalDetector检测字符集
if (charset == null) {
UniversalDetector detector = new UniversalDetector(null);
detector.handleData(bytes, 0, bytes.length);
detector.dataEnd();
charset = detector.getDetectedCharset();
detector.reset();
}
// 默认使用UTF-8
if (charset == null) {
charset = StandardCharsets.UTF_8.name();
}
return new String(bytes, offset, bytes.length - offset, charset);
}
}
3. PDF文档加载器实现
实现了PdfDocumentLoader,使用Apache PDFBox处理PDF文件:
public class PdfDocumentLoader extends AbstractDocumentLoader {
@Override
public String load(Path path) throws IOException {
try (PDDocument document = PDDocument.load(path.toFile())) {
PDFTextStripper stripper = new PDFTextStripper();
String content = stripper.getText(document);
// 提取元数据
PDDocumentInformation info = document.getDocumentInformation();
if (info != null) {
// 添加文档元数据到内容中
StringBuilder metadata = new StringBuilder();
appendIfNotNull(metadata, "Title", info.getTitle());
appendIfNotNull(metadata, "Author", info.getAuthor());
appendIfNotNull(metadata, "Subject", info.getSubject());
// ... 其他元数据处理 ...
return metadata.toString() + "\n---\nDocument Content:\n" + content;
}
return content;
}
}
}
4. 工厂类实现
实现了DocumentLoaderFactory,用于管理和创建文档加载器:
public class DocumentLoaderFactory {
private static final List<DocumentLoader> loaders = new ArrayList<>();
static {
// 注册默认加载器
registerLoader(new TextDocumentLoader());
registerLoader(new PdfDocumentLoader());
}
public static Optional<DocumentLoader> getLoader(Path path) {
return loaders.stream()
.filter(loader -> loader.supports(path))
.findFirst();
}
}
5. 单元测试完善
为所有实现编写了完整的单元测试,包括:
-
文件格式支持测试
-
编码处理测试
-
异步加载测试
-
异常处理测试
-
并发处理测试
技术要点
-
- 编码处理:
-
实现了BOM(字节顺序标记)检测
-
使用UniversalDetector进行字符集自动检测
-
支持UTF-8、UTF-16BE、UTF-16LE等编码
-
- 异步处理:
-
使用CompletableFuture实现异步加载
-
支持超时控制
-
实现了线程安全的加载器注册机制
-
- 扩展性设计:
-
使用工厂模式管理加载器
-
支持动态注册新的加载器
-
提供了抽象基类简化实现
明日开发重点 🎯
根据开发计划,明天将重点完成以下任务:
- 1. 实现Word文档加载器
-
集成Apache POI
-
实现DOC/DOCX解析
-
实现文档元数据提取
- 2. 实现Markdown文档加载器
-
集成CommonMark解析器
-
实现Markdown格式化
-
提取文档结构
- 3. Document Parser接口设计
-
设计解析器接口层次
-
实现解析器链模式
-
定义解析结果模型

