Spaces:
Running
Running
Commit History
4 days ago
-
eval: три открытых пункта прошлого отчёта закрыты замерами, а не словами
SilverElixir1. Потолок в два поиска (PROBE_EFFORT=high в eval/agent_loop_probe.py): цикл сработал на 11 из 12 вопросов, и в 11 случаях модель сделала ВТОРОЙ, другой по смыслу запрос («ключевая ставка ЦБ России решение октябрь 2026», затем «Банк России ключевая ставка сегодня»), источников стало 9-10 вместо 3-5 при том же времени фазы (3.37 с) — второй поиск идёт внутри шага. Вопрос «уточняет ли модель запрос» больше не догадка. 2. Честность без поиска: новый eval/no_search_honesty_probe.py — 10 свежих вопросов с той же пометкой «без live-поиска», что кладёт боевой код, проверка на слова заявки об источниках. 0 заявок из 10; модель называет цифры как ориентир («посмотреть не могу, доступа к кассам нет»). Первый прогон засчитал один честный отказ заявкой — классификатор ловил отрицание только в прямом порядке; исправлен, повторный прогон 0 из 10. 3. A/B усилия на персоне с пином low: 49/50 против 50/50 при том же промпте и судье. Один балл — в пределах шума, рубрика …aa69981
5 days ago
-
eval: живой замер цикла поиска (12 вопросов, 11 поисков, 3.12 с, ~5.9К токенов на планирование) и зонд eval/agent_loop_probe.py; плюс лог ветки в message_core, чтобы «кто принёс источники» было видно в проде
SilverElixir2afacb9