agent/tests/pipeline_setup/suite_01_synthetic

Suite 01 Synthetic

Синтетический набор тестов для проверки CODE_QA на тестовом репозитории: [fixtures/code_qa_repo](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/fixtures/code_qa_repo).

Что входит в suite

• fixtures/ — тестовый репозиторий и входные данные
• golden/ — golden-кейсы
• code_qa_eval/ — eval harness, который индексирует репозиторий и прогоняет golden-кейсы

Запуск тестов

Из корня проекта:

PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/ -q

Точечный запуск:

PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/test_eval_harness.py -q

Запуск eval harness

Из корня проекта:

PYTHONPATH=. python -m tests.pipeline_setup.suite_01_synthetic.code_qa_eval.run

Во время запуска harness:

• выбирает репозиторий для индексации
• создаёт новый rag_session_id
• индексирует репозиторий в RAG
• прогоняет golden-кейсы через CODE_QA pipeline

Параметры запуска

У suite нет собственных CLI-флагов; конфигурация задаётся через переменные окружения:

• CODE_QA_REPO_PATH — путь к локальному репозиторию вместо fixture-репозитория
• CODE_QA_PROJECT_ID — project_id для создаваемой RAG-сессии; если не задан, берётся имя директории репозитория

Поведение по умолчанию:

• если CODE_QA_REPO_PATH не задан, используется fixtures/code_qa_repo
• для fixture-режима project_id фиксирован как code_qa_repo
• rag_session_id заранее не передаётся, а создаётся автоматически во время индексации

Что требуется для запуска

• рабочий DATABASE_URL
• доступные зависимости для RAG и SQLAlchemy

Артефакты пишутся в: [test_results/code_qa_eval](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/test_results/code_qa_eval)

Детали harness: [code_qa_eval/README.md](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/code_qa_eval/README.md)