Lumen / eval /agent_loop_probe.py
SilverElixir
eval: три открытых пункта прошлого отчёта закрыты замерами, а не словами
aa69981
Raw History Blame Contribute Delete
8.17 kB
"""Живой замер агентного цикла: что модель просит искать, за сколько шагов и что находит.
Меряет не «пришлился ли блок», а поведение надстройки в бою: число планирующих
вызовов, число и формулировки запросов, долинувших источников, время фазы и токены.
Ключ только из окружения или .env, значение нигде не печатается.
Запуск: python eval/agent_loop_probe.py
Переменные прогона: PROBE_EFFORT (например, high — уровень фиксируется, и вместе с
ним потолок поисков становится равен двум: проверяется, уточняет ли модель запрос
после первой выдачи) и LUMEN_ENV_DIR (где искать .env при запуске из worktree).
"""
from __future__ import annotations
import asyncio
import json
import os
import sys
import time
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT))
# .env живёт только в общем checkout: worktree его не получает (gitignore), а
# импорты берутся из worktree, где лежит проверяемый код.
ENV_FILE = Path(os.getenv("LUMEN_ENV_DIR", r"C:/Users/egork/Documents/Default Project/Lumen")) / ".env"
BASE_DEFAULT = "https://api.munito.ai/inference/v1"
# Вопросы, где ответ обязан быть датированным: разные намерения из живой выдачи,
# а не одна тема. Первый блок — то, что ловит детектор свежести.
QUESTIONS = [
"кто сейчас главный тренер сборной Беларуси по футболу",
"какая ключевая ставка ЦБ России",
"сколько стоит билет на поезд Минск Москва",
"когда вышла Claude Opus 5.5",
"погода в Гомеле на завтра",
"курс доллара к российскому рублю сегодня",
"кто выиграл Лигу наций по футболу",
"какая сейчас версия Blender",
"сколько серий в новом сезоне The Bear",
"кто возглавляет NVIDIA сейчас",
"какой процессор лучше купить для игр в 2026",
"последние новости Беларуси за сегодня",
]
def _env(name: str, default: str = "") -> str:
value = (os.getenv(name, "") or "").strip()
if value:
return value
env_file = ENV_FILE
if not env_file.exists():
return default
for line in env_file.read_text(encoding="utf-8", errors="replace").splitlines():
line = line.strip().lstrip("")
if line.startswith(f"{name}="):
return line.split("=", 1)[1].strip().strip('"').strip("'")
return default
def _payload_stats() -> dict:
"""Сколько запросов и токенов ушло: считаем по обёртке _munito_request."""
return {"requests": 0, "prompt": 0, "completion": 0, "thinking": 0, "errors": 0}
async def main() -> None:
key = _env("MUNITO_API_KEY")
if not key:
print("НЕТ КЛЮЧА MUNITO_API_KEY — выхожу")
return
import aiohttp
import bot
import lumen_agent
from lumen_router_config import _MUNITO_ORDER, agent_max_searches, pick_reasoning_effort
base = _env("MUNITO_BASE_URL", BASE_DEFAULT).rstrip("/")
bot.MUNITO_API_KEY = key
bot.MUNITO_BASE_URL = base
stats = _payload_stats()
async def fake_request(path: str, method: str = "GET", *, json_body: dict | None = None, deadline=None):
stats["requests"] += 1
timeout = None if deadline is None else max(0.5, deadline - time.monotonic())
async with aiohttp.ClientSession() as session:
async with session.post(
f"{base}/chat/completions",
headers={"Authorization": f"Bearer {key}", "Content-Type": "application/json"},
json=json_body, timeout=aiohttp.ClientTimeout(total=timeout or 60.0, connect=15.0),
) as resp:
raw = await resp.text()
if resp.status >= 400:
stats["errors"] += 1
raise bot.MunitoAPIError(f"HTTP {resp.status}: {raw[:160]}", status_code=resp.status)
data = json.loads(raw)
usage = data.get("usage") or {}
stats["prompt"] += int(usage.get("prompt_tokens") or 0)
stats["completion"] += int(usage.get("completion_tokens") or 0)
stats["thinking"] += int(((usage.get("completion_tokens_details") or {}).get("reasoning_tokens")) or 0)
return data
async def fake_build(chat_id, user_text, model_id, *, history_meta=None, current_parts=None):
# Тот же системный текст, что уходит в бой, но без состояния чата и фото:
# замеряется цикл, а не сборка истории.
return [{"role": "system", "content": bot.get_system_prompt(model_id)},
{"role": "user", "content": user_text}]
bot._munito_request = fake_request
bot._build_openai_turn_messages = fake_build
head = _MUNITO_ORDER[0]
print(f"голова: {head} · хост {base} · вопросов {len(QUESTIONS)}")
rows = []
for question in QUESTIONS:
# PROBE_EFFORT фиксирует уровень, а с ним и потолок поисков: при high
# лимит равен двум, и прогон отвечает на вопрос «уточняет ли модель
# запрос, увидев выдачу» (после правки 12.11.2026).
effort = (os.getenv("PROBE_EFFORT", "").strip()
or pick_reasoning_effort(question, needs_freshness=True))
limit = agent_max_searches(effort)
t0 = time.monotonic()
turn = await lumen_agent.run_search_turn(
chat_id=1, user_prompt=question, clean_prompt=question, model_id=head,
effort=effort, max_searches=limit, status=None,
deadline=time.monotonic() + 30.0, history_meta=None,
)
dt = time.monotonic() - t0
rows.append({
"q": question[:38], "effort": effort, "limit": limit, "sec": round(dt, 2),
"searches": turn.searches, "queries": turn.queries, "snippets": len(turn.snippets),
"failed": turn.failed, "preambles": turn.preambles,
})
print(f" {dt:5.2f}s effort={effort:6s} поиск={turn.searches} источников={len(turn.snippets):2d} "
f"failed={turn.failed!s:5s} запросы={turn.queries}")
await asyncio.sleep(1.5)
print("\n=== сводка фазы ===")
total = sum(r["sec"] for r in rows)
searched = sum(1 for r in rows if r["searches"])
with_sources = sum(1 for r in rows if r["snippets"])
multi = sum(1 for r in rows if r["searches"] > 1)
print(f"вопросов {len(rows)} · цикл сработал на {searched} · источники есть на {with_sources} "
f"· больше одного поиска на {multi}")
print(f"суммарное время фазы {total:.1f}s · среднее {total / len(rows):.2f}s на вопрос")
print(f"запросов к провайдеру {stats['requests']} · ошибок {stats['errors']} · "
f"токены in={stats['prompt']} out={stats['completion']} thinking={stats['thinking']}")
per_request = (stats["prompt"] + stats["completion"]) // max(1, stats["requests"])
print(f"средний токенов на запрос: {per_request}")
if __name__ == "__main__":
sys.stdout.reconfigure(encoding="utf-8", errors="replace")
asyncio.run(main())