Фикс состояния

This commit is contained in:
2026-03-12 16:55:23 +03:00
parent 417b8b6f72
commit 6ba0a18ac9
1445 changed files with 620025 additions and 885 deletions

View File

@@ -0,0 +1,63 @@
# Suite 01 Synthetic
Синтетический набор тестов для проверки CODE_QA на тестовом репозитории:
[fixtures/code_qa_repo](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/fixtures/code_qa_repo).
## Что входит в suite
- `fixtures/` — тестовый репозиторий и входные данные
- `golden/` — golden-кейсы
- `code_qa_eval/` — eval harness, который индексирует репозиторий и прогоняет golden-кейсы
## Запуск тестов
Из корня проекта:
```bash
PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/ -q
```
Точечный запуск:
```bash
PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/test_eval_harness.py -q
```
## Запуск eval harness
Из корня проекта:
```bash
PYTHONPATH=. python -m tests.pipeline_setup.suite_01_synthetic.code_qa_eval.run
```
Во время запуска harness:
- выбирает репозиторий для индексации
- создаёт новый `rag_session_id`
- индексирует репозиторий в RAG
- прогоняет golden-кейсы через CODE_QA pipeline
## Параметры запуска
У suite нет собственных CLI-флагов; конфигурация задаётся через переменные окружения:
- `CODE_QA_REPO_PATH` — путь к локальному репозиторию вместо fixture-репозитория
- `CODE_QA_PROJECT_ID``project_id` для создаваемой RAG-сессии; если не задан, берётся имя директории репозитория
Поведение по умолчанию:
- если `CODE_QA_REPO_PATH` не задан, используется `fixtures/code_qa_repo`
- для fixture-режима `project_id` фиксирован как `code_qa_repo`
- `rag_session_id` заранее не передаётся, а создаётся автоматически во время индексации
## Что требуется для запуска
- рабочий `DATABASE_URL`
- доступные зависимости для RAG и SQLAlchemy
Артефакты пишутся в:
[test_results/code_qa_eval](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/test_results/code_qa_eval)
Детали harness:
[code_qa_eval/README.md](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/code_qa_eval/README.md)