技術參考
命令與參數參考
這裡列出目前 LLaDAR 的每個命令、參數、預設值和使用時機。想了解整體流程請看使用指南；需要查精確參數時看這一頁。
命令一覽
| 命令 | 用途 | 主要輸出 |
|---|---|---|
lladar create test-dataset | 從知識文件建立題目與預期答案。 | 資料集 JSONL 與 .generation.json。 |
lladar run-agent | 讓既有 Agent 回答資料集。 | 回答 JSONL、.trials.jsonl、.run.json。 |
lladar eval | 檢查已完成的回答。 | 評估 JSON。 |
lladar report | 把評估結果輸出為 Markdown。 | Markdown 報告。 |
create test-dataset
從一或多個知識檔案或資料夾產生測試資料。
lladar create test-dataset --knowledge PATH [OPTIONS]| 參數 | 預設值 | 用途 |
|---|---|---|
--knowledge PATH | 必填；可重複 | 知識檔案或資料夾；重複指定可合併多份輸入。 |
--skill DIRECTORY | 內建 knowledge-point-qa | 一個包含 SKILL.md 的本機出題方法目錄。 |
--output DIRECTORY | . | 產物目錄，會自動命名為 test-dataset-YYYYMMDD-HHMMSS.jsonl；若路徑以 .jsonl 結尾，則直接使用該檔名。 |
--count N | 0 | 最多保留幾筆去重後資料；0 表示保留全部候選題目。 |
--seed SEED | 0 | 固定候選題目的隨機排序。 |
--model MODEL | gemini:gemini-3.7-flash | 產生資料集使用的模型。 |
--env-file PATH | .env | 提供給模型 provider 的環境檔。 |
--temperature TEMPERATURE | 0.0 | 出題時的模型取樣溫度。 |
--max-input-tokens N | 所選模型設定 | 覆寫模型設定的輸入 token 上限。 |
--max-output-tokens N | 所選模型設定 | 覆寫模型設定的輸出 token 上限。 |
--auto-window-ratio RATIO | 所選模型設定 | 覆寫自動 context window 的比例。 |
--force | 關閉 | 允許覆寫既有輸出檔。 |
--verbose / --no-verbose | 開啟 | 顯示或隱藏進度與出題 trace。 |
lladar create test-dataset --knowledge policy/ --knowledge faq.md --count 30 --seed 7 --output artifacts/dataset.jsonlrun-agent
透過已檢查的專案或已校正的問答網頁執行 Agent，先驗證入口，再把回答填入新結果檔的 actual_response。
目標參數怎麼選？
單用 --project PATH 也可能足夠：LLaDAR 從原始碼與文件理解對外介面及啟動方式。必要執行環境設定完整時，可以在隔離的專案副本中啟動需要的服務，最後只關閉自己啟動的服務。啟動、驗證或 API 契約資訊不足時會要求補充。
要使用已啟動的測試服務時，才加上 --service-url URL。它提供的是基底位址，不是啟動指令，也不是 HTTP 方法、路徑、Payload 或回應格式；這些仍靠專案探索理解。LLaDAR 不會啟動或關閉該既有服務。參數名稱是 --service-url，不是 --service-api。
若只有正常問答網頁、沒有專案原始碼，改用 --page-url URL：瀏覽器登入、校正與錄製請求供重播，再由模型抽取回應文字。不能與 --project 或 --service-url 合用；未指定專案或網頁時預設檢查目前目錄。詳見三種方式的選擇指南。
lladar run-agent DATASET [OPTIONS]| 參數 | 預設值 | 用途 |
|---|---|---|
DATASET | 必填 | 輸入 JSONL；其中的 actual_response 必須是 null。 |
--project PATH | . | 要檢查並複製到隔離工作區的 Agent 專案；與 --page-url 二選一。 |
--page-url URL | 無 | 正常問答頁面；固定引導登入、校正、授權與 MATCH，開瀏覽器前要求 stdin、stderr 為終端，不需互動旗標。 |
--output PATH | responses.jsonl | 回答檔；另外會產生 PATH.trials.jsonl 和 PATH.run.json。 |
--skill DIRECTORY | 內建 run-agent-stability | 一個包含 SKILL.md 的本機排程方法目錄。 |
--seed SEED | 0 | 固定資料挑選的隨機順序。 |
--model MODEL | gemini:gemini-2.5-flash | 專案 coding model；瀏覽器抽取另預設 gemini:gemini-3.8-flash（目前支援 Gemini API）。 |
--env-file PATH | .env | 提供給 coding model provider 與目標程式的環境檔；既有環境變數優先。 |
--target-python PATH | 自動尋找 PROJECT/.venv | 目標專案使用的 Python 執行檔。 |
--timeout SECONDS | 3600（60 分鐘） | 每個 adapter、工具子程序或瀏覽器 request 的最長秒數；不會提高模型抽取的獨立限制。 |
--max-tool-calls N | 100 | 每次探索或 adapter 修復最多可呼叫幾個工具。 |
--graphify / --no-graphify | 開啟 | 開啟或關閉來源探索前的選用靜態程式碼圖。 |
--graphify-python PATH | 自動尋找既有 uv tool 環境 | 含有 graphifyy 的 Python 執行檔。 |
--service-url URL | 無 | 已啟動測試服務的 base URL；只適用 --project，不會理解任意 API URL。 |
--confirm-browser-run | 關閉 | 只預先核准瀏覽器驗證題和已排程 request；不核准模型傳輸，也不能略過終端校正與 MATCH。 |
--allow-response-model-transfer | 關閉 | 核准本次將真實回應內容傳至 --model；N 次試跑最多 N+2 次模型呼叫，每次 8,192 輸出 tokens、共用 60 分鐘。不核准網站請求，也不跳過獨立核對。 |
--fresh-browser-profile | 關閉 | 本次使用暫時的全新登入 profile，不重用該站既有 session。 |
--interactive / --no-interactive | 專案模式：只有 TTY 時開啟 | 允許或禁止專案入口選擇提示；與 --page-url 合用會被拒絕，網站模式固定採終端引導流程。 |
--force | 關閉 | 覆寫既有回答檔和附帶紀錄檔。 |
--verbose / --no-verbose | 開啟 | 顯示或隱藏進度與 coding Agent trace。 |
lladar run-agent artifacts/dataset.jsonl --project path/to/agent --no-interactive --output artifacts/responses.jsonl
lladar run-agent artifacts/dataset.jsonl --project path/to/agent --service-url http://127.0.0.1:8000 --output artifacts/responses.jsonl
lladar run-agent artifacts/dataset.jsonl --page-url https://example.test/chat --output artifacts/responses.jsonl瀏覽器啟動、首次導頁及重新導頁各自最多等 300 秒（5 分鐘），不受 --timeout 影響。網站回答仍預設等 60 分鐘，自動重播另受整輪剩餘期限約束。
僅保留模型直接抽取；預設 gemini:gemini-3.8-flash。一次 YES 同意所揭露的網站請求與真實回應外傳後，才讀取 GEMINI_API_KEY／GOOGLE_API_KEY。兩個核准旗標保留各自範圍，兩者都提供才免授權提示，仍不能跳過 MATCH。驗證題改在彩色 terminal（stderr）核對全文，不開 HTML 分頁；NO_COLOR 或 TERM=dumb 改用純文字。拒絕重新導向核對輸出，終端捲動紀錄可能留存內容；登入與擷取仍需瀏覽器。模型輸入上限為含封裝的 120 KiB UTF-8 JSON；超限不截斷、不重試。抽取合法不等於忠實或答案正確。詳見執行指南。
eval
用評估方法檢查已完成的回答，並由保存下來的逐題判斷計算彙總結果。
lladar eval RESPONSES [OPTIONS]| 參數 | 預設值 | 用途 |
|---|---|---|
RESPONSES | 必填 | run-agent 產生的回答 JSONL。 |
--output PATH | evaluation.json | 要產生的評估 JSON。 |
--skill DIRECTORY | 內建 eval-answer-verdict | 一個包含 SKILL.md 的本機評估方法。 |
--model MODEL | gemini:gemini-2.5-flash | 評估 Agent 使用的模型。 |
--env-file PATH | .env | 提供給評估 provider 的環境檔。 |
--strict | 關閉 | 任一筆評估出錯就停止；不加時會把該筆記成 judge error，繼續其他資料。 |
--force | 關閉 | 覆寫既有評估檔。 |
lladar eval artifacts/responses.jsonl --strict --output artifacts/evaluation.jsonreport
把評估輸出轉為不誇大結論、可回頭查的 Markdown 報告。
lladar report EVALUATION [OPTIONS]| 參數 | 預設值 | 用途 |
|---|---|---|
EVALUATION | 必填 | eval 產生的評估 JSON。 |
--output PATH | report.md | 要產生的 Markdown 報告。 |
--skill DIRECTORY | 內建 report-evidence-summary | 一個包含 SKILL.md 的本機報告摘要方法。 |
--model MODEL | gemini:gemini-3.7-flash | 撰寫有依據摘要的模型。 |
--env-file PATH | .env | 提供給報告 provider 的環境檔。 |
--force | 關閉 | 覆寫既有報告。 |
lladar report artifacts/evaluation.json --output artifacts/report.md