範例
客服 Agent:把政策測成一套自動化檢查
這個範例假設你有一個客服 Agent,想確認它會不會依退貨、出貨和退款政策回答。它提供一個可立即執行的小型 Agent,示範完整流程。
範例裡有什麼?
| 位置 | 用途 |
|---|---|
examples/support-demo-agent/knowledge.md | 客服政策,也是用來產生題目的依據。 |
examples/support-demo-agent/engine.py | 範例 Agent 的內部判斷邏輯。 |
examples/support-demo-agent/server.py | 讓其他程式能把問題送給 Agent 的 HTTP 服務。 |
範例 Agent 不需要額外套件;但產生題目和評估時,LLaDAR provider 必須已經設定好。
Agent 對外提供的方式
服務啟動後,其他程式可以用 POST /api/chat 傳送問題。請求內容是 {"input":{"text":"我要申請退款"}},回覆內容是 {"data":{"answer":"..."}}。GET /health 可用來確認服務是否已準備好。
engine.py 是內部程式碼;實際使用者或其他程式會透過上面的 HTTP 入口與 Agent 溝通。
做法一:讓 LLaDAR 直接讀取範例專案
這是最適合第一次嘗試的做法。LLaDAR 會自行讀取專案、找出如何執行 Agent,先試跑確認後再回答所有題目。
lladar create test-dataset --knowledge examples/support-demo-agent/knowledge.md --output artifacts/support-demo/dataset.json
lladar run-agent --project examples/support-demo-agent --dataset artifacts/support-demo/dataset.json --output artifacts/support-demo/run.json --no-interactive
lladar eval --dataset artifacts/support-demo/dataset.json --run artifacts/support-demo/run.json --output artifacts/support-demo/evaluation.json
lladar report --evaluation artifacts/support-demo/evaluation.json --output artifacts/support-demo/report.md
做法二:先啟動服務,再指定服務網址
這個做法適合你的 Agent 已經由團隊啟動成測試服務。先在一個終端機啟動範例服務:
python examples/support-demo-agent/server.py --port 8765
接著在另一個終端機執行測試:
lladar run-agent --project examples/support-demo-agent --service-url http://127.0.0.1:8765 --dataset artifacts/support-demo/dataset.json --output artifacts/support-demo/run.json
這種方式下,服務由你負責啟動和停止;LLaDAR 只會呼叫你指定的網址。
成功代表什麼?
成功不表示 Agent 的每句話都固定不變,而是你能在產物中看到完整過程:題目從哪份政策產生、問題確實送到 Agent、每題收到什麼回答、如何判斷,以及報告如何統計。這些檔案讓你可以重跑、檢查和改善。