RAG 的幻觉有个最气人的地方。它把检索到的文档摊在面前,答案还是能编。问它埃菲尔铁塔哪年建的,它答 1889,对。问它多高,它也能给你吐出个 1889 米。这数字在答案里,关键词匹配一看,有 1889,通过。可 1889 是年份,不是高度。

我装 Giskard 就是想验证一件事。它宣传用 Groundedness 这道 LLM judge 抓这种语义幻觉。关键词匹配抓不到的,它靠再叫一次模型来判断。下面是我装它、跑它看到的。

装出来是 3.0.1

我用 uv 跑出个 venv,Python 3.13.12。默认 PyPI 慢,挂清华镜像装,命令就一条。

uv venv giskard-venv --python 3.13
UV_HTTP_TIMEOUT=180 uv pip install --python giskard-venv/bin/python "giskard[scan]" --index-url https://pypi.tuna.tsinghua.edu.cn/simple

装完我跑 importlib.metadata 查版本,输出 giskard 3.0.1。它拆成六个包,giskard-checks 1.0.7、giskard-scan 1.0.2、giskard-core 1.0.4、giskard-llm 1.0.3、giskard-agents 1.0.7。README 说 v3 是从零重写的,把重的依赖都甩了。我核对了一遍,装下来确实没有 torch 这种大家伙。

纯 check 不要 key,5 毫秒跑完

先跑最不需要钱的。Giskard 的 check 分两类,一类纯 Python 判断,一类 LLM judge。前者不调模型,本地就能跑。我写了个最小场景。

from giskard.checks import Scenario, StringMatching, FnCheck

def get_answer(inputs: str) -> str:
    return "The Eiffel Tower was completed in 1889."

scenario = (
    Scenario("hallucination_basic")
    .interact(inputs="When was the Eiffel Tower completed?", outputs=get_answer)
    .check(StringMatching(name="mentions_year", keyword="1889", target_key="trace.last.outputs"))
    .check(FnCheck(fn=lambda trace: len(str(trace.last.outputs))  str:
    return "The Eiffel Tower is 1889 meters tall."

scenario = (
    Scenario("groundedness_check")
    .interact(inputs="How tall is the Eiffel Tower?", outputs=get_answer)
    .check(Groundedness(name="answer_grounded", target_key="trace.last.outputs"))
)
result = scenario.run_sync()

我跑它,第一层报错是 WorkflowError: Step processing failed。我试了顺着 cause 挖,挖出两层,第二层是 ProviderNotAvailableError,说 openai 这个 provider 需要 openai 包,让 pip install giskard-llm[openai]。第三层是 ModuleNotFoundError: No module named 'openai'。

我装 openai 3.51.0 再跑,报错换成了 OpenAIError: Missing credentials。它要 OPENAI_API_KEY。我本机没配,也不打算配,这是付费凭证,边界上我不碰。

这条报错链本身就是信息。它把 Giskard 的分层说清楚了。纯 check 是白嫖的,本地跑,几分之一秒。LLM judge 要 provider SDK,还要 key,一次调用就是一次模型钱。README 里 Groundedness 默认模型是 openai/gpt-4o-mini。

为什么 Groundedness 才是抓幻觉的正解

这里我说清楚我的判断。StringMatching 和 FnCheck 是死规则,只能抓你事先写死的模式。RAG 幻觉是语义层面的,答案里每一个字都可能是对的,拼起来是错的。死规则抓不住。Groundedness 拿答案去和检索到的上下文比对,问模型「这段话站得住吗」。这才抓得住「1889 米」这种。

Groundedness 之外,scan 那半边还有个 quality_scan。它要一个 KnowledgeBase,就是你 agent 该照着答的那批文档。它从文档里生成问题,再拿 agent 的答案去对。五种 generator 各管一种错法,HallucinationScenarioGenerator 抓直接编造,SycophancyScenarioGenerator 抓用户说错了你还顺着,OutOfScopeScenarioGenerator 抓文档没写你却硬答。这个是 v2 里 RAGET 的继任者,我把 README 和 docs 打开核对了 1 遍,这个说法对得上。

check 和 scan 是两件事。check 是你自己写的断言,一个场景一个 check,pass 或 fail,像单元测试一样卡 PR。scan 是它自动生成一堆对抗场景再跑,量级大,适合周期性全扫。我跑成了 check 那半边,scan 那半边因为要 key 没跑成,但文档把机制讲清楚了。quality_scan 的 group_by 默认按 component 分,llm、retrieval、history 三个桶,报告还能额外吐一个 recommendation 字段,用模型总结失败集中在哪。这个 recommendation 文档自己也提醒,它是从通过率表推的,可能说错原因,别拿它当诊断结论。

值不值得上

给个分界。你的 RAG 是给别人用的,答案错了有真实代价,就上 Groundedness,配上 quality_scan 周期性全扫。代价是每次 judge 都要调模型,要 key 要钱,文档说一个 max_scenarios=4 的 quality_scan 约一分钟、几美分。你的场景是内部玩具,或者根本没有 LLM key 的预算,那先把纯 check 用起来,StringMatching 加 FnCheck 能拦住一批低级错,不花钱。

一句话。Giskard 值得用的地方,是它把「答案是否站得住」这件靠人肉盯的事,做成了可重复的 check 和 scan。但真能抓幻觉的那一半,是要 key 要钱的。