Байесовская вероятность
|
Байесовская вероятность — это интерпретация понятия вероятности, используемая в байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в байесовской теории используется теорема Байеса. ИсторияБайесовская теория и байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский» стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским», не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал её для решения задач небесной механики и медицинской статистики. Лаплас, однако, не считал эту теорему важной для развития теории вероятностей. Он придерживался классического определения вероятности. Франк Рамсей в работе The Foundations of Mathematics (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 применил идеи Рамсея как альтернативу частотному определению. Леонард Сэвидж расширил эту идею в работе The Foundations of Statistics (1954). Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно. ВариантыРазличные варианты байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность. Соотношение с частотной вероятностьюБайесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях. Теория вероятности и статистики, основанная на частотной вероятности, была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега. Разница между байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез. ПрименениеС 1950-х годов байесовская теория и байесовская вероятность широко применяются за счёт, например, теоремы Кокса и принципа максимальной энтропии. Для многих[каких?] задач байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности. Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным. Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спам-писем из электронной почты. Вероятности вероятностейНеприятная деталь, связанная с использованием байесовской вероятности, в том, что задания вероятности недостаточно для того, чтобы понять её природу. Рассмотрим следующие ситуации: Байесовская вероятность «вытащить следующим чёрный шар» в каждом из этих случаев равна 0,5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую метавероятность). 1. Предположим, у вас есть коробка с чёрными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета. Пусть θ = p {displaystyle heta =p} — это утверждение о том, что вероятность вытащить следующим черный шар равна p {displaystyle p} , тогда распределение вероятности будет бета-распределением: ∀ θ ∈ [ 0 , 1 ] {displaystyle forall heta in [0,1]} f ( θ ) = B ( α B = 1 , α W = 1 ) = Γ ( α B + α W ) Γ ( α B ) ⋅ Γ ( α W ) θ α B − 1 ( 1 − θ ) α W − 1 = Γ ( 2 ) Γ ( 1 ) ⋅ Γ ( 1 ) θ 0 ( 1 − θ ) 0 = 1 {displaystyle f( heta )=mathrm {B} (alpha _{B}=1,alpha _{W}=1)={frac {Gamma (alpha _{B}+alpha _{W})}{Gamma (alpha _{B})cdot Gamma (alpha _{W})}} heta ^{alpha _{B}-1}(1- heta )^{alpha _{W}-1}={frac {Gamma (2)}{Gamma (1)cdot Gamma (1)}} heta ^{0}(1- heta )^{0}=1} Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности P ( θ ∣ m , n ) {displaystyle P( heta mid m,n)} , после вытягивания m чёрных шаров и n белых шаров также будет Бета-распределением с параметрами α B = 1 + m {displaystyle alpha _{B}=1+m} , α W = 1 + n {displaystyle alpha _{W}=1+n} . 2. Предположим, что вы вытащили из коробки n {displaystyle n} шаров, половина из них оказались чёрными, а остальные — белыми. В этом случае распределение вероятности θ = p {displaystyle heta =p} будет бета-распределением B ( n 2 + 1 , n 2 + 1 ) {displaystyle mathrm {B} left({frac {n}{2}}+1,{frac {n}{2}}+1 ight)} . Максимальное апостериорное ожидание θ {displaystyle heta } равно θ M A P = n 2 + 1 n + 2 = 0 , 5 {displaystyle heta _{MAP}={frac {{frac {n}{2}}+1}{n+2}}=0{,}5} . 3. Вы знаете, что ровно половина шаров — чёрные, а остальные — белые. В этом случае вероятность равна 0,5 с вероятностью 1: f ( θ ) = δ ( θ − 0 , 5 ) {displaystyle f( heta )=delta ( heta -0{,}5)} . |
