Задача
P(C=1)=0,3. При C=1: P(X₁=1)=0,8, P(X₂=1)=0,6. При C=0: P(X₁=1)=0,2, P(X₂=1)=0,4. Naive Bayes считает признаки условно независимыми. Найдите P(C=1|X₁=X₂=1).
Ненормированные веса
Класс 1: 0,3·0,8·0,6=0,144.
Класс 0: 0,7·0,2·0,4=0,056.
Posterior
Нормирующая сумма 0,20. Поэтому
P(C=1|x)=0,144/0,20=0,72.
Класс 0 получает 0,28.
Логарифмическая форма
На практике перемножение многих малых вероятностей заменяют сложением log-probabilities, чтобы избежать численного underflow.
Ограничение naive
Условная независимость признаков — модельное упрощение. Даже при её нарушении классификатор иногда работает хорошо, но получаемые вероятности не следует автоматически считать идеально калиброванными.
Редакционная практика по probabilistic classification в тематике mlearn_pro · CC BY 4.0.