LLaDAR 文件

把「Agent 有沒有做好事」變成能重複執行的測試

LLaDAR 會根據你的文件自動出題,把題目送給既有 Agent,再整理每一題的結果和報告。

你可以用它做什麼?

從文件產生測試題

提供要依據的知識文件,LLaDAR 會產生可用來測試 Agent 的題目和預期答案。

了解如何出題

自動把題目交給 Agent

讓 LLaDAR 讀取專案,找出如何呼叫 Agent,確認可行後逐題執行。

了解如何執行

逐題檢查回答

把每題的預期答案和 Agent 實際回答放在一起檢查,再自動統計結果。

了解如何評估

產生可閱讀的報告

把結果、每題明細、使用的資料和限制整理成報告,方便回頭查。

了解如何產生報告

一個完整情境:測試既有的客服 Agent

假設你已經有一個客服 Agent,想知道它面對退貨、出貨和退款問題時,會不會依照公司的規則回答。你可以把客服政策交給 LLaDAR:它先依政策出題,再把題目送給 Agent,最後告訴你哪些題目答對、哪些需要改善。

想改變流程,也可以

LLaDAR 的每個階段都可以放入自己的 SKILL.md 來調整做法。例如,你可以規定出題時只問某些主題、評估時必須檢查哪些規則,或要求報告使用團隊慣用的格式。調整後,LLaDAR 仍會保留過程中的檔案,並由 Python 計算統計結果。

開始前要準備什麼?

你需要一份可作為依據的文件、已能運作的 Agent,以及已設定好的 LLaDAR provider。範例 Agent 不需要另外安裝套件;但產生題目和評估回答仍會使用你設定的 provider。

查看開始使用的完整步驟