大模型

ragflow4j 开发记录 - 2025-03-11

ragflow4j 开发记录 - 2025-03-11

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

今天主要完成了LLM集成接口的设计和实现工作,包括以下几个主要部分:

  1. 1. LLMClient接口设计
  • 设计了统一的模型调用接口,支持同步和异步两种调用方式

  • 实现了配置管理功能,支持动态更新模型配置

  • 添加了完整的Java Doc文档

  1. 2. LLMConfig配置类实现
  • 使用Builder模式实现了配置类

  • 支持API密钥、模型名称、超时时间等关键配置

  • 实现了请求限流和并发控制参数配置

  1. 3. OpenAIClient实现
  • 封装了OpenAI Java SDK的调用

  • 实现了请求重试和错误处理机制

  • 添加了请求限流控制

  • 实现了异步调用支持

  1. 4. 单元测试编写
  • 为LLMClient接口编写了测试用例

  • 测试了配置更新和异常处理场景

  • 验证了限流机制的有效性

主要代码实现:

public interface LLMClient {
    String complete(String prompt, Map<String, Object> options);
    CompletableFuture<String> completeAsync(String prompt, Map<String, Object> options);
    LLMConfig getConfig();
    void updateConfig(LLMConfig config);
}
public class OpenAIClient implements LLMClient {
    private LLMConfig config;
    private final ExecutorService executorService;
    private final RateLimiter rateLimiter;

    public OpenAIClient(LLMConfig config) {
        this.config = config;
        this.executorService = Executors.newFixedThreadPool(config.getMaxConcurrentRequests());
        this.rateLimiter = new RateLimiter(60, TimeUnit.MINUTES);
    }

    @Override
    public String complete(String prompt, Map<String, Object> options) {
        validateRequest(prompt);
        try {
            rateLimiter.acquire();
            return executeRequest(prompt, options);
        } catch (Exception e) {
            handleException(e);
            return null;
        }
    }

    // ... 其他实现代码
}

一开始ai生成的代码有问题,使用了com.theokanning.openai-gpt3-java,但是不支持自定义apihost,因此替换成了chatgpt-java。

明日开发重点🎯

  1. 1. 开发Content Retriever模块
  • 实现向量相似度检索

  • 实现关键词检索

  • 实现混合排序策略

  1. 2. 实现相似度检索功能
  • 实现KNN搜索

  • 优化检索性能

  • 实现结果过滤

温馨提示:欢迎关注公众号【猿悟人生】获取最新开发进展

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿