使用指南

建立測試資料

把你想讓 Agent 遵守的文件交給 LLaDAR,讓它產生一組可以實際拿去問 Agent 的題目。

這一步在做什麼?

測試資料不是隨便列幾個問題。每一題都會包含問題、預期答案,以及這題為什麼要這樣問的記錄。後面評估時,LLaDAR 會用這些內容判斷 Agent 的回答是否符合文件。

基本用法

lladar create test-dataset --knowledge path/to/policy.md --output artifacts/dataset.json
選項意思
--knowledge你要拿來出題的文件,例如政策、產品規格或內部說明。
--output要把產生的測試資料存到哪裡。

產生後先檢查什麼?

打開 dataset.json,看看題目是不是在測真正關心的事情、預期答案是否合理,以及是否有足夠的來源說明可回頭確認。若文件本身不完整,題目也無法憑空補齊規則。

想讓題目更符合團隊需求?

在出題階段放入自己的 SKILL.md,就能告訴 LLaDAR 要特別測哪些情境、不要問哪些內容,或採用團隊既有的題目格式。這適合把通用流程改成特定領域的測試流程。

範例

客服 Agent 範例使用 knowledge.md 中的退貨、出貨和退款規則來出題。接著會把這些題目交給既有 Agent 回答。