從文件產生測試題
提供要依據的知識文件,LLaDAR 會產生可用來測試 Agent 的題目和預期答案。
了解如何出題LLaDAR 文件
LLaDAR 會根據你的文件自動出題,把題目送給既有 Agent,再整理每一題的結果和報告。
假設你已經有一個客服 Agent,想知道它面對退貨、出貨和退款問題時,會不會依照公司的規則回答。你可以把客服政策交給 LLaDAR:它先依政策出題,再把題目送給 Agent,最後告訴你哪些題目答對、哪些需要改善。
LLaDAR 的每個階段都可以放入自己的 SKILL.md 來調整做法。例如,你可以規定出題時只問某些主題、評估時必須檢查哪些規則,或要求報告使用團隊慣用的格式。調整後,LLaDAR 仍會保留過程中的檔案,並由 Python 計算統計結果。
你需要一份可作為依據的文件、已能運作的 Agent,以及已設定好的 LLaDAR provider。範例 Agent 不需要另外安裝套件;但產生題目和評估回答仍會使用你設定的 provider。
查看開始使用的完整步驟