import org.springframework.ai.vectorstore.SearchRequest;

private PromptResult buildPromptWithSources(String message, String knowledgeBaseId) {
    if (knowledgeBaseId == null) {
        log.debug("[Prompt构建] 未指定知识库，直接返回用户消息");
        return new PromptResult(message, null);
    }

    log.info("[Prompt构建] 知识库ID: {}, 开始检索相关文档", knowledgeBaseId);

    // 使用 SearchRequest 设置相似度阈值和返回数量
    SearchRequest searchRequest = SearchRequest.builder()
        .query(message)
        .topK(20)                    // 增加初始检索数量，后续再过滤
        .similarityThreshold(0.5)    // 设置相似度阈值 0.5（可根据实际情况调整）
        .build();

    List<Document> relevantDocs = vectorStore.similaritySearch(searchRequest);
    log.debug("[Prompt构建] 检索到 {} 个相关文档", relevantDocs.size());
    
    // ... 后续逻辑保持不变
}

private PromptResult buildPromptWithSources(String message, String knowledgeBaseId) {
    // ... 前面的代码 ...

    List<Document> relevantDocs = vectorStore.similaritySearch(searchRequest);
    
    // 按相似度分数排序（从高到低）
    relevantDocs.sort((d1, d2) -> {
        Double score1 = (Double) d1.getMetadata().get("distance");
        Double score2 = (Double) d2.getMetadata().get("distance");
        return Double.compare(score2 != null ? score2 : 0, score1 != null ? score1 : 0);
    });

    // 过滤并限制结果
    List<Document> filteredDocs = relevantDocs.stream()
        .filter(doc -> {
            // 知识库ID过滤
            Object kbId = doc.getMetadata().get(Constants.VectorStore.METADATA_KNOWLEDGE_BASE_ID);
            boolean kbMatch = kbId != null && kbId.equals(knowledgeBaseId);
            
            // 相似度过滤（如果 SearchRequest 的阈值不够，可以在这里二次过滤）
            Double score = (Double) doc.getMetadata().get("distance");
            boolean scoreMatch = score == null || score >= 0.7; // 相似度阈值
            
            return kbMatch && scoreMatch;
        })
        .limit(Constants.Chat.MAX_CONTEXT_LENGTH)
        .collect(Collectors.toList());

    // ... 后续代码 ...
}

public static final class VectorStore {
    public static final int CHUNK_SIZE = 800;      // 从 1000 调整为 800
    public static final int CHUNK_OVERLAP = 100;   // 从 200 调整为 100
    // ... 其他常量
}

List<DocumentSourceDTO> documentSources = docsByDocumentId.entrySet().stream()
    .map(entry -> {
        String docId = entry.getKey();
        List<Document> docChunks = entry.getValue();
        Document firstDoc = docChunks.get(0);

        Object docName = firstDoc.getMetadata().get(Constants.VectorStore.METADATA_DOCUMENT_NAME);
        Object kbName = firstDoc.getMetadata().get(Constants.VectorStore.METADATA_KNOWLEDGE_BASE_NAME);
        
        // 获取相似度分数
        Double score = (Double) firstDoc.getMetadata().get("distance");
        if (score == null) {
            score = 0.0;
        }

        // 收集所有分块的片段内容
        List<String> snippets = docChunks.stream()
            .map(doc -> {
                String text = doc.getText();
                return text.length() > 200 ? text.substring(0, 200) + "..." : text;
            })
            .collect(Collectors.toList());

        return DocumentSourceDTO.builder()
            .documentId(docId.equals("unknown") ? null : docId)
            .documentName(docName != null ? docName.toString() : "未知文档")
            .knowledgeBaseName(kbName != null ? kbName.toString() : "未知知识库")
            .score(score)  // 设置相似度分数
            .snippet(snippets.isEmpty() ? "" : snippets.get(0))
            .snippets(snippets)
            .build();
    })
    // 按相似度分数排序
    .sorted((s1, s2) -> Double.compare(s2.getScore() != null ? s2.getScore() : 0, 
                                       s1.getScore() != null ? s1.getScore() : 0))
    .collect(Collectors.toList());

// 从 metadata 中获取的是余弦距离
Object distanceObj = doc.getMetadata().get("distance");
double distance = ((Number) distanceObj).doubleValue();

// 转换为相似度（范围 0~1）
double similarity = 1.0 - distance;

// 推荐阈值范围
double similarityThreshold = 0.5;  // 平衡精度和召回率（当前推荐）
double similarityThreshold = 0.55; // 更严格，可能过滤部分内容
double similarityThreshold = 0.45; // 更宽松，可能包含更多内容