混合检索、Rerank 与知识可信

from dataclasses import dataclass, field
@dataclass
class Evidence:
    """带可验证信息的证据块"""
    eid: str                       # 短 ID，供模型在回答里引用
    text: str
    source: str                    # 来源标识
    url: str = ""                  # 可点开的位置（含锚点）
    anchor: str = ""               # 定位信息：章节 / 段落号
    updated_at: str = ""
    tier: str = "fact"             # fact | inference
    caliber: str = ""              # 口径版本（数值类必须有）
    vec_rank: int | None = None
    kw_rank: int | None = None
    def cite(self) -> str:
        return f"[{self.eid}]"
    def render(self) -> str:
        """上下文里的形态：短 ID + 正文 + 来源信息，三者齐全"""
        loc = self.anchor or self.source
        extra = f"｜口径 {self.caliber}" if self.caliber else ""
        return (f"[{self.eid}] {self.text}\n"
                f"     来源：{self.source}　位置：{loc}　更新：{self.updated_at}"
                f"{extra}　层级：{self.tier}")
def rrf_fuse(vec_ranked: list[str], kw_ranked: list[str], k: int = 60) -> list[tuple[str, float]]:
    """
    RRF：只依赖排名，无需归一化。
    k 一般取 60（原论文经验值），作用是压低头部排名的相对优势，让两路更均衡。
    """
    scores: dict[str, float] = {}
    for ranked in (vec_ranked, kw_ranked):
        for rank, doc_id in enumerate(ranked, start=1):
            scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(scores.items(), key=lambda x: -x[1])
def build_citations(evidences: list[Evidence], answer: str) -> dict:
    """
    后置校验：检查回答里引用的 ID 是否真实存在。
    模型可能引用一个不存在的编号 —— 这类幻觉必须被抓住。
    """
    valid = {e.eid for e in evidences}
    used = set()
    for e in evidences:
        if e.cite() in answer:
            used.add(e.eid)
    unknown = [x for x in extract_cite_ids(answer) if x not in valid]
    return {
        "used": sorted(used),
        "unused": sorted(valid - used),
        "hallucinated": unknown,        # 引用了不存在的证据 → 需要重试或降级
        "credible": len(unknown) == 0 and len(used) > 0,
        "checklist": [{"eid": e.eid, "url": e.url, "source": e.source}
                      for e in evidences if e.eid in used],
    }
def conflict_pairs(evidences: list[Evidence]) -> list[tuple[Evidence, Evidence]]:
    """
    同指标不同值的证据 → 必须同时呈现，不能静默选一个。
    判定条件：同一 source 主题、同期、同为 fact、值不同。
    """
    out = []
    for i in range(len(evidences)):
        for j in range(i + 1, len(evidences)):
            a, b = evidences[i], evidences[j]
            if a.tier == b.tier == "fact" and a.caliber == b.caliber and same_metric(a, b):
                if extract_value(a.text) != extract_value(b.text):
                    out.append((a, b))
    return out
CITE_RE = r"\[(E\d{1,3})\]"
def extract_cite_ids(text: str) -> list[str]:
    import re
    return re.findall(CITE_RE, text)
def same_metric(a: Evidence, b: Evidence) -> bool:
    return False        # 占位：真实实现比对指标名
def extract_value(text: str) -> str:
    return ""           # 占位：真实实现抽取数值
def provenance_block(evidences: list[Evidence]) -> str:
    """
    产物的「证据清单」区块：放在报告末尾，
    让用户能逐条点开核对。这是信任的最后一公里。
    """
    lines = ["本产物的依据来源："]
    for e in evidences:
        loc = e.anchor or "—"
        link = e.url or "（无链接）"
        lines.append(f"  {e.eid}　{e.source}　{loc}　更新 {e.updated_at}　{link}")
    return "\n".join(lines)