Фикс состояния
This commit is contained in:
63
tests/pipeline_setup/suite_01_synthetic/README.md
Normal file
63
tests/pipeline_setup/suite_01_synthetic/README.md
Normal file
@@ -0,0 +1,63 @@
|
||||
# Suite 01 Synthetic
|
||||
|
||||
Синтетический набор тестов для проверки CODE_QA на тестовом репозитории:
|
||||
[fixtures/code_qa_repo](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/fixtures/code_qa_repo).
|
||||
|
||||
## Что входит в suite
|
||||
|
||||
- `fixtures/` — тестовый репозиторий и входные данные
|
||||
- `golden/` — golden-кейсы
|
||||
- `code_qa_eval/` — eval harness, который индексирует репозиторий и прогоняет golden-кейсы
|
||||
|
||||
## Запуск тестов
|
||||
|
||||
Из корня проекта:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/ -q
|
||||
```
|
||||
|
||||
Точечный запуск:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/test_eval_harness.py -q
|
||||
```
|
||||
|
||||
## Запуск eval harness
|
||||
|
||||
Из корня проекта:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=. python -m tests.pipeline_setup.suite_01_synthetic.code_qa_eval.run
|
||||
```
|
||||
|
||||
Во время запуска harness:
|
||||
|
||||
- выбирает репозиторий для индексации
|
||||
- создаёт новый `rag_session_id`
|
||||
- индексирует репозиторий в RAG
|
||||
- прогоняет golden-кейсы через CODE_QA pipeline
|
||||
|
||||
## Параметры запуска
|
||||
|
||||
У suite нет собственных CLI-флагов; конфигурация задаётся через переменные окружения:
|
||||
|
||||
- `CODE_QA_REPO_PATH` — путь к локальному репозиторию вместо fixture-репозитория
|
||||
- `CODE_QA_PROJECT_ID` — `project_id` для создаваемой RAG-сессии; если не задан, берётся имя директории репозитория
|
||||
|
||||
Поведение по умолчанию:
|
||||
|
||||
- если `CODE_QA_REPO_PATH` не задан, используется `fixtures/code_qa_repo`
|
||||
- для fixture-режима `project_id` фиксирован как `code_qa_repo`
|
||||
- `rag_session_id` заранее не передаётся, а создаётся автоматически во время индексации
|
||||
|
||||
## Что требуется для запуска
|
||||
|
||||
- рабочий `DATABASE_URL`
|
||||
- доступные зависимости для RAG и SQLAlchemy
|
||||
|
||||
Артефакты пишутся в:
|
||||
[test_results/code_qa_eval](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/test_results/code_qa_eval)
|
||||
|
||||
Детали harness:
|
||||
[code_qa_eval/README.md](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/code_qa_eval/README.md)
|
||||
Reference in New Issue
Block a user