使用指南
建立測試資料
把你想讓 Agent 遵守的文件交給 LLaDAR,讓它產生一組可以實際拿去問 Agent 的題目。
這一步在做什麼?
測試資料不是隨便列幾個問題。每一題都會包含問題、預期答案,以及這題為什麼要這樣問的記錄。後面評估時,LLaDAR 會用這些內容判斷 Agent 的回答是否符合文件。
基本用法
lladar create test-dataset --knowledge path/to/policy.md --output artifacts/dataset.json
| 選項 | 意思 |
|---|---|
--knowledge | 你要拿來出題的文件,例如政策、產品規格或內部說明。 |
--output | 要把產生的測試資料存到哪裡。 |
產生後先檢查什麼?
打開 dataset.json,看看題目是不是在測真正關心的事情、預期答案是否合理,以及是否有足夠的來源說明可回頭確認。若文件本身不完整,題目也無法憑空補齊規則。
想讓題目更符合團隊需求?
在出題階段放入自己的 SKILL.md,就能告訴 LLaDAR 要特別測哪些情境、不要問哪些內容,或採用團隊既有的題目格式。這適合把通用流程改成特定領域的測試流程。
範例
客服 Agent 範例使用 knowledge.md 中的退貨、出貨和退款規則來出題。接著會把這些題目交給既有 Agent 回答。