大模型

ragflow4j 开发记录 - 2025-03-17

大家好,我是Aaron。当前在实践\x26quot;辅助AI编程\x26quot;,目前有个比较火的词语是\x26quot;干中学\x26quot;。

ragflow4j 开发记录 - 2025-03-17

大家好,我是Aaron。当前在实践”辅助AI编程”,目前有个比较火的词语是”干中学”。因此,我希望能通过一步步完善项目,来掌握RAG相关知识。因此正在开发一个名为ragflow4j(https://github.com/aaronshan/ragflow4j) 的项目。为了方便记录,我会在每天结束时让AI总结今天的开发进展,同步到公众号。

欢迎大家关注我关注公众号,第一时间收到更新推送,一步一步一起开发RAG引擎。

项目简介 📖

ragflow4j(https://github.com/aaronshan/ragflow4j) 是一个开源的 RAG(检索增强生成)引擎。与 Dify、Ragflow 等不同,它是用 Java 开发的。市面上类似的产品大多使用 Python 开发。我希望通过这个项目能帮助以 Java 为主要开发语言的开发者更好地理解 RAG 的整体机制。

今日工作内容 ✨

Content Scoring系统开发

开发目标

实现Content Scoring系统的核心功能,包括:

  • 评分接口设计

  • 评分计算引擎实现

  • 评分缓存机制设计

系统设计

评分接口设计

基于已有的ScoringService接口,我们实现了以下核心功能:

public interface ScoringService {
    CompletableFuture<List<ScoringResult>> score(String query, List<String> documents);
    CompletableFuture<List<List<ScoringResult>>> batchScore(List<String> queries, List<String> documents);
    void clearCache();
}

接口设计考虑了以下几个关键点:

  1. 1. 异步处理:使用CompletableFuture支持异步评分

  2. 2. 批量处理:提供批量评分接口提高性能

  3. 3. 缓存管理:支持缓存清理操作

评分计算引擎

实现了抽象基类AbstractScoringService,提供了以下功能:

public abstract class AbstractScoringService implements ScoringService {
    protected final Map<String, CompletableFuture<List<ScoringResult>>> cache;
    protected final ExecutorService executor;

    protected AbstractScoringService() {
        this.cache = new ConcurrentHashMap<>();
        this.executor = Executors.newFixedThreadPool(
            Runtime.getRuntime().availableProcessors()
        );
    }

    protected abstract String generateCacheKey(String query, List<String> documents);
    protected abstract List<ScoringResult> computeScores(String query, List<String> documents);
}
评分服务实现
1. ONNX模型评分服务
@Service
public class OnnxScoringService extends AbstractScoringService {
    private final OnnxRuntime runtime;
    private final ModelConfig config;

    @Override
    protected List<ScoringResult> computeScores(String query, List<String> documents) {
        // 实现ONNX模型推理逻辑
    }
}
2. Cohere评分服务
@Service
public class CohereScoringService extends AbstractScoringService {
    private final CohereClient client;

    @Override
    protected List<ScoringResult> computeScores(String query, List<String> documents) {
        // 实现Cohere API调用逻辑
    }
}
3. Xinference评分服务
@Service
public class XinferenceScoringService extends AbstractScoringService {
    private final XinferenceClient client;

    @Override
    protected List<ScoringResult> computeScores(String query, List<String> documents) {
        // 实现Xinference API调用逻辑
    }
}
4. Jina评分服务
@Service
public class JinaScoringService extends AbstractScoringService {
    private final JinaClient client;

    @Override
    protected List<ScoringResult> computeScores(String query, List<String> documents) {
        // 实现Jina API调用逻辑
    }
}
缓存机制
  1. 1. 缓存设计
  • 使用ConcurrentHashMap实现线程安全的缓存

  • 缓存键通过查询和文档内容生成

  • 支持异步结果缓存

  1. 2. 缓存策略
  • 实现LRU淘汰策略

  • 支持TTL过期机制

  • 提供手动清理接口

单元测试
@SpringBootTest
class ScoringServiceTest {
    @Test
    void testScoring() {
        // 测试评分功能
    }

    @Test
    void testBatchScoring() {
        // 测试批量评分
    }

    @Test
    void testCacheManagement() {
        // 测试缓存机制
    }
}

开发总结

今天完成了Content Scoring系统的核心功能开发,包括:

  1. 1. 设计并实现了评分服务接口

  2. 2. 实现了多种评分服务实现

  3. 3. 建立了高效的缓存机制

  4. 4. 编写了完整的单元测试

系统设计注重了性能、可扩展性和可维护性,为后续的Agent Management Service开发奠定了基础。

明日开发重点🎯

明天将开始开发Agent Management Service,主要任务包括:

  1. 1. 实现代理生命周期管理

  2. 2. 实现代理状态管理

  3. 3. 实现代理配置管理

  4. 4. 开发代理调度系统

温馨提示:欢迎关注公众号【猿悟人生】获取最新开发进展

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿