Suite 01 Synthetic

Синтетический набор тестов для проверки CODE_QA на тестовом репозитории: [fixtures/code_qa_repo](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/fixtures/code_qa_repo).

Что входит в suite

fixtures/ — тестовый репозиторий и входные данные
golden/ — golden-кейсы
code_qa_eval/ — eval harness, который индексирует репозиторий и прогоняет golden-кейсы

Запуск тестов

Из корня проекта:

PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/ -q

Точечный запуск:

PYTHONPATH=. pytest tests/pipeline_setup/suite_01_synthetic/code_qa_eval/test_eval_harness.py -q

Запуск eval harness

Из корня проекта:

PYTHONPATH=. python -m tests.pipeline_setup.suite_01_synthetic.code_qa_eval.run

Во время запуска harness:

выбирает репозиторий для индексации
создаёт новый rag_session_id
индексирует репозиторий в RAG
прогоняет golden-кейсы через CODE_QA pipeline

Параметры запуска

У suite нет собственных CLI-флагов; конфигурация задаётся через переменные окружения:

CODE_QA_REPO_PATH — путь к локальному репозиторию вместо fixture-репозитория
CODE_QA_PROJECT_ID — project_id для создаваемой RAG-сессии; если не задан, берётся имя директории репозитория

Поведение по умолчанию:

если CODE_QA_REPO_PATH не задан, используется fixtures/code_qa_repo
для fixture-режима project_id фиксирован как code_qa_repo
rag_session_id заранее не передаётся, а создаётся автоматически во время индексации

Что требуется для запуска

рабочий DATABASE_URL
доступные зависимости для RAG и SQLAlchemy

Артефакты пишутся в: [test_results/code_qa_eval](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/test_results/code_qa_eval)

Детали harness: [code_qa_eval/README.md](/Users/alex/Dev_projects_v2/ai driven app process/v2/agent/tests/pipeline_setup/suite_01_synthetic/code_qa_eval/README.md)

2.6 KiB Raw Blame History Unescape Escape