Искомое нами преобразование можно описать следующим образом:
, где

P(x|z) - апостериорная вероятность (wiki);
P(z|x) - функция правдоподобия (зависит от данных, т.е. текущего изображения);
P(x) - априорная вероятность (не зависит от данных).
Фактически, проблему поиска лучшего разделения можно сформулировать таким образом:
(это формула и выражает MAP), или, что тоже самое
, где
E(x) - энергия изображения.
Рассмотрим каждую часть отдельно.

Функция правдоподобия

Данная функция при x = 0 или x = 1 показывает, относится ли текущий пиксель z к нужной нам области изображения. На рисунке справа можно это увидеть.
        Для улучшения результата нам необходимо найти максимум:

        В результате должно получиться следующее:

Априорная вероятность

Этот параметр позволяет учитывать и соседние пиксели при сегментации. Соединим текущий пиксель с его соседями по вертикали и горизонтали. Тогда:
, где

- функция разделения;

- «Ising prior» (априорная вероятность Изинга, по подсказке yuriv).
При этом всем

Апостериорная вероятность

При определении данного слагаемого воспользуемся распределением Гиббса (wiki):
, где

Энергия изображения, где первое слагаемое - значение энергии текущего пикселя самого по себе, а второе - суммарное значение с соседом; w - некий вес, значение которого определяется экспериментально;

Функция правдоподобия;

Априорная вероятность.
Фух, осталось совсем чуть-чуть, самое главное.

Минимизация энергии

Как мы установили в самом начале, минимум энергии соответствует MAP. В этом случае:

(искомый минимум энергии)

Результаты

«Что это было и, главное, ЗАЧЕМ?!», спросит читатель. Вот что в итоге может получиться, с указанием разных значений веса w:

Выводы

Особая прелесть данного метода заключается в том, что формулы энергии мы можем задавать любые. Например, можно добиться выделения на изображении исключительно прямых линий, точек пересечения определенного числа прямых/кривых и многое другое. Кстати, любой счастливый обладатель MS Office 2010 может пощупать описанную технологию. Достаточно использовать инструмент Background Removal.
        Спасибо за внимание!

Уголок копирайтера

Все использованные изображения взяты из работ Carsten Rother. Формулы построены при помощи онлайн

Случайное событие оценивают числом, определяющим интенсивность проявления этого события. Это число называют вероятностью события P() . Вероятность элементарного события – . Вероятность события есть численная мера степени объективности, возможности этого события. Чем больше вероятность, тем более возможно событие.

Любое событие, совпадающее со всем пространством исходов S , называетсядостоверным событием , т.е. таким событием, которое в результате эксперимента обязательно должно произойти (например, выпадение любого числа очков от 1 до 6 на игральной кости). Если событие не принадлежит множествуS , то оно считаетсяневозможным (например, выпадение числа очков, большего 6, на игральной кости). Вероятность невозможного события равна 0, вероятность достоверного события равна 1. Все остальные события имеют вероятность от 0 до 1.

События Е иназываютсяпротивоположными , еслиЕ наступает тогда, когда не наступает. Например, событиеЕ – «выпадение четного числа очков», тогда событие– «выпадение нечетного числа очков». Два событияЕ 1 иЕ 2 называютсянесовместными , если не существует никакого исхода, общего для обоих событий.

Для определения вероятностей случайных событий используют непосредственные или косвенные способы. При непосредственном подсчете вероятности различают априорную и апостериорную схемы подсчетов, когда проводят наблюдения (опыты) или априорно подсчитывают число опытовm , в которых событие проявилось, и общее число произведенных опытовn . Косвенные способы основываются на аксиоматической теории. Поскольку события определяются как множества, то над ними можно совершать все теоретико-множественные операции. Теория множеств, функциональный анализ были предложены академиком А.Н. Колмогоровым и составили основу аксиоматической теории вероятности. Приведем аксиомы вероятностей.

Аксиома I . Поле событий F (S ) является алгеброй множеств .

Эта аксиома указывает на аналогию теории множеств и теории вероятности.

Аксиома II . Каждому множеству из F (S ) поставлено в соответствие действительное число P(), называемое вероятностью события :

при условии S 1 S 2 = (для несовместных событийS 1 иS 2 ), или для множества несовместных событий

где N – количество элементарных событий (возможных исходов).

Вероятность случайного события

,

где– вероятности элементарных событий, входящих в подмножество.

Пример 1.1. Определить вероятность выпадения каждого числа при бросании игральной кости, выпадения четного числа, числа4 .

Решение . Вероятность выпадения каждого числа из множества

S = {1, 2, 3, 4, 5, 6}
1/6.

Вероятность выпадения четного числа, т.е.
={2, 4, 6}, исходя из (1.6) будетP(
) = 1/6 + 1/6 + 1/6 = 3/6 = 1/2 .

Вероятность выпадения числа 4 , т.е.
= {4, 5, 6 } ,

P(
) = 1/6 + 1/6 + 1/6 = 3/6 = 1/2.

Задания для самостоятельной работы

1. В корзине 20 белых, 30 черных и 50 красных шаров. Определите вероятность того, что первый вынутый из корзинки шар будет белым; черным; красным.

2. В студенческой группе 12 юношей и 10 девушек. Какова вероятность того, что на семинаре по теории вероятности будут отсутствовать: 1) юноша; 2) девушка; 3) два юноши?

3. В течение года 51 день отличался тем, что в эти дни шел дождь (или снег). Какова вероятность того, что вы рискуете попасть под дождь (или снег): 1) отправляясь на работу; 2) отправляясь в поход на 5 дней?

4. Составьте задачу на тему данного задания и решите ее.

1.1.3. Определение апостериорной вероятности (статистической вероятности или частоты

случайного события)

При априорном определении вероятности предполагалось, что равновероятны. Это далеко не всегда соответствует действительности, чаще бывает, что
при
. Допущение
приводит к ошибке в априорном определенииP() по установленной схеме. Для определения, а в общем случаеP() проводят целенаправленные испытания. В ходе проведения таких испытаний (например, результаты испытаний в примерах 1.2, 1.3) при различном состоянии разнообразных условий, воздействий, причинных факторов, т.е. в различныхслучаях, могут возникнуть различныеисходы (различные проявления сведений исследуемого объекта).Каждый исход испытаний соответствует одному элементу или одному подмножеству множества S .Если определять m как число благоприятных событию А исходов, полученных в результате n испытаний, то апостериорная вероятность (статистическая вероятность или частота случайного события А )

На основании закона больших чисел для A

, n   ,

т.е. при увеличении числа испытаний частота случайного события (апостериорная, или статистическая, вероятность) стремится к вероятности этого события.

Пример 1.2. Определенная по схеме случаев вероятность выпадения решки при подбрасывании монеты равна 0,5. Требуется подбросить монету 10, 20, 30 ... раз и определить частоту случайного события решка после каждой серии испытаний.

Решение . К. Пуассон подбрасывал монету 24000 раз, при этом решка выпадала 11998 раз. Тогда по формуле (1.7) вероятность выпадения решки

.

Задания для самостоятельной работы

На основании большого статистического материала (n   ) были получены значения вероятностей появления отдельных букв русского алфавита и пробела () в текстах, которые приведены в табл.1.1.

Таблица 1.1. Вероятность появления букв алфавита в тексте

Возьмите страницу любого текста и определите частоту появления различных букв на этой странице. Увеличьте объем испытаний до двух страниц. Полученные результаты сравните с данными таблицы. Сделайте вывод.

При стрельбе по мишеням был получен следующий результат (см. табл.1.2).

Таблица 1.2. Результат стрельбы по мишеням

Какова вероятность того, что цель была бы поражена с первого выстрела, если бы по своим размерам она была меньше «десятки», «девятки» и т.д.?

3. Спланируйте и проведите аналогичные испытания для других событий. Представьте их результаты.

prior probability distribution , или просто prior ) неопределённой величины p {\displaystyle p} - распределение вероятностей , которое выражает предположения о p {\displaystyle p} до учёта экспериментальных данных. Например, если p {\displaystyle p} - доля избирателей, готовых голосовать за определённого кандидата, то априорным распределением будет предположение о p {\displaystyle p} до учёта результатов опросов или выборов. Противопоставляется апостериорной вероятности .

[ | ]

Информативное априорное распределение выражает конкретную информацию о переменной. Например, подходящим априорным распределением для температуры воздуха завтра в полдень будет нормальное распределение со средним значением , равным температуре сегодня в полдень, и дисперсией , равной ежедневной дисперсии температуры.

В качестве примера естественного априори, следуя Джейнсу (2003), рассмотрим ситуацию, когда известно, что мяч спрятан под одной из трех чашек A, B или C, но нет никакой другой информации. В этом случае равномерное распределение p (A) = p (B) = p (C) = 1 3 {\displaystyle p(A)=p(B)=p(C)={\frac {1}{3}}} интуитивно кажется единственно обоснованным. Более формально, проблема не изменится, если поменять местами названия чашек. Поэтому стоит выбрать такое априорное распределение, чтобы перестановка названий его не изменяла. И равномерное распределение является единственным подходящим.

Некорректное априорное распределение [ | ]

Если теорема Байеса записана в виде:

P (A i | B) = P (B | A i) P (A i) ∑ j P (B | A j) P (A j) , {\displaystyle P(A_{i}|B)={\frac {P(B|A_{i})P(A_{i})}{\sum _{j}P(B|A_{j})P(A_{j})}}\,}

то очевидно, что она останется верной, если все априорные вероятности P (A i ) и P (A j ) будут умножены на одну и ту же константу; то же верно для непрерывных случайных величин . Апостериорные вероятности останутся нормированными на сумму (или интеграл) 1, даже если априорные не были нормированными. Таким образом, априорное распределение должно задавать только верные пропорции вероятностей.

См. также [ | ]

В статистической теории оптимальных приемников, основные понятия которой были рассмотрены в предыдущих параграфах, вопрос об априорных вероятностях полезного сигнала связан с определенными трудностями. Действительно, априорные вероятности нужны для вычисления апостериорных вероятностей, т. е. они необходимы для фактического осуществления оптимального приемника. Однако априорные вероятности часто неизвестны. Так, Вудворд пишет: «Рассмотрим, например, априорную вероятность обнаружения самолета некоторой радиолокационной установкой на расстоянии завтра в утра. Если установка расположена на аэродроме с регулярным движением, статистический анализ прошлого может дать нам нужные вероятности в предположении, что движение самолетов представляет собой стационарный случайный процесс. Для большого класса задач, однако, мы не располагаем статистикой либо потому, что она не изучалась, либо вследствие более фундаментального обстоятельства: в прошлом не существовало совокупности сходных ситуаций, из которой можно было бы вывести определенное суждение».

Как мы показали в § 29, плотности априорных вероятностей можно представить в виде двух множителей

Априорные вероятности. являются соответственно вероятностями наличия и отсутствия полезного сигнала на входе приемника. Эти вероятности наиболее трудно оценить. Априорные вероятностирт являются вероятностями распределения полезных сигналов по неизвестным параметрам при условии, что полезный сигнал присутствует на входе приемника. Эти распределения в ряде случаев можно более или менее уверенно найти из теоретических соображений. Так, например, случайную высокочастотную фазу при некогерентном приеме естественно предположить равномерно распределенной по окружности, амплитуду флюктуирующего сигнала - по закону Релея. Дальность и азимут цели можно в некоторой небольшой области воздушного пространства

предположить равномерно распределенными; при увеличении размеров области это предположение может стать уже несправедливым.

Учитывая выше приведенные рассуждения и предполагая, что закон распределения априорных вероятностей полезного сигнала по неизвестным параметрам известен, мы можем вычислить введенные выше для различных случаев коэффициенты правдоподобия и Если далее образовать отношение апостериорных вероятностей присутствия и отсутствия полезного сигнала, то получим при обнаружении

а при измерении

Эти формулы нетрудно вывести из выражений (29.09), (29.22), (29.28), (29. 33) и соотношений

Формулы (30.02) и (30.03) показывают, что в отношениях апостериорных вероятностей от априорных вероятностей зависит лишь постоянный множитель а принятая функция определяет коэффициенты правдоподобия

Трудность, обусловленную незнанием отношения можно обойти, если изменить определение оптимального приемника и назвать оптимальным приемник, образующий коэффициенты правдоподобия (а не апостериорные вероятности). В таком случае оптимальные приемники по

определению должны выдавать следующие математические величины:

1) при простом обнаружении

2) при сложном обнаружении

3) при простом измерении

4) при сложном измерении

На основании входных данных и образованных с их помощью величин (30.06) обычно приходится принимать решения. Если решать должен человек, например ответить «есть сигнал» или «нет сигнала», то оптимальный приемник лишь помогает человеку, оставляя за ним операцию решения. Надо сказать, что в своих решениях человек всегда использует (часто,не осознавая этого явно) априорные знания о вероятности появления сигнала: в частности, если априорная вероятность появления сигнала достаточно мала, то для ответа «есть сигнал» потребуется более сильное превышение сигнала над шумами, т. е. большее значение

Процесс решения нетрудно автоматизировать. Ограничиваясь задачей обнаружения (сложного или простого), мы должны учесть, что вероятность наличия полезного сигнала

есть монотонная функция коэффициента правдоподобия Совершенно естественно считать, что сигнал присутствует, если вероятность достаточно велика (т. е. достаточно близка к единице), и что полезного сигнала нет, если вероятность достаточно мала. Поэтому простейшее правило решения имеет вид

где некоторое "пороговое" значение вероятности, скажем, ; или

Более сложное правило:

с двумя порогами использует апостериорные вероятности на выходе оптимального приемника более полно, но при этом иногда дает неопределенный ответ. Если сигнал принят, дальнейшая информация в приемник не поступает и на основании имеющихся сведений требуется принять какое-то определенное решение, то единственный выход заключается, очевидно, в применении правила (30.08) с одним порогом. Если же информация поступает в приемник постепенно, то на основании входных данных, накопившихся за фиксированный промежуток времени, можно принять и неопределенное решение, указывающее на необходимость продолжать наблюдение. В этом случае можно применить «двухпороговое» правило (30.09); в принципе можно было бы, вероятно, использовать и более сложные правила.

Рассмотрим более подробно правило (30.08). Коль скоро мы выберем одно из двух возможных решений, то мы всегда можем или принять правильное решение или ошибиться. Ошибки могут быть двух типов. Первый тип ошибки - принятие решения «да», когда на входе присутствует только помеха. Эта ошибка называется ложной тревогой, ее вероятность мы обозначим через Второй тип ошибки - принятие решения «нет», когда на входе присутствуют как помеха, так и полезный сигнал. Эта ошибка называется пропуском сигнала, вероятность этой ошибки мы будем обозначать через Вероятность ложной тревоги является вероятностью принять помеху за сумму сигнал помеха; вероятность пропуска есть вероятностью принять сумму сигнал помеха за чистую помеху.

Правильные решения также могут быть двух типов: правильное обнаружение и правильное необнаружение. Вероятность правильного обнаружения, которую мы обозначим через есть вероятность принять сумму сигнал помеха за сигнал помеха, а вероятность правильного необнаружения, которую мы обозначим через есть вероятность принять помеху за помеху. Очевидно, что условные вероятности: вероятности принять правильное или неправильное решение при условии, что полезного сигнала нет, такие же вероятности при условии, что полезный сигнал присутствует. Поэтому выполняются соотношения

Полцая вероятность принять правильное решение, очевидно, равна

где и суть априорные вероятности отсутствия и наличия сигнала

При использовании правила (30.08) необходимо - задать, помимо порога априорные вероятности Если последние неизвестны, то можно воспользоваться, как это было указано выше, коэффициентом правдоподобия, с помощью которого правило (30.08) перепишется в виде

есть пороговое значение коэффициента правдоподобия. "Двухпороговое" правило (30.09) примет такой вид:

Согласно этим правилам нетрудно построить схемы, автоматически принимающие решения. Таким образом, "решающий" оптимальный ириемник должен образовывать коэффициент правдоподобия и подавать его на вход решающей схемы (30.12) или (30.14). Заметим, что вместо можно использовать любую монотонно возрастающую функцию (например, что часто упрощает схему оптимального приемника. Порог А в формуле (30.12) обычно находят из требования, чтобы вероятность ложных тревог равнялась заданному значению (часто весьма малому, например, или

Остановимся в заключение на терминологии, принятой в литературе.

Наблюдателем Неймана-Пирсона (Neymann-Pearson) называют наблюдателя, который на основании принятых данных принимает решения о наличии сигнала по правилу, которое обеспечивает

максимальную вероятность правильного обнаружения при фиксированной вероятности ложной тревоги за данный промежуток времени наблюдения . В математической статистике доказывается, что наблюдатель Неймана-Пирсона принимает решения как раз по "одно-пороговомуи правилу (30.12), причем величина порога определяется фиксированным значением Любое другое правило решения приводит к меньшим D (при заданных и ).

Идеальный наблюдатель Зигерта (Siegert) принимает решение, обеспечивающее максимальную вероятность по формуле (30.11) при фиксированном времени наблюдения Решение принимается также по правилу (30.12), но величина порога выбирается равной

Последовательный наблюдатель Вальда (Wald) производит анализ данных, непрерывно поступающих на вход приемника. Последовательный наблюдатель имеет возможность задержать решение до поступления новых данных; правило решения для него имеет вид (30.14). Однако математическая теория последовательного наблюдения отличается большей сложностью, и мы в дальнейшем будем исключительно применять схему решения (30.12) с одним порогом, интерпретируя ее в духе наблюдателя Неймана-Пирсона.

Более глубокий подход к статистической теории приема дает современная теория игр и статистических решений, использованная в теории оптимальных приемников Метером и Мидлтоном. Некоторые относящиеся сюда вопросы рассмотрены в приложении

I.Условные вероятности. Априорная и апостериорная вероятность. 3

II.Независимые события. 5

III.Проверка статистических гипотез. Статистическая достоверность. 7

IV.Использование критерия «хи-квадрат» 19

1.Определение достоверности отличия набора частот от набора вероятностей. 19

2.Определение достоверности отличия нескольких наборов частот. 26

VСАМОСТОЯТЕЛЬНОЕ ЗАДАНИЕ 33

Занятие №2

1. Условные вероятности. Априорная и апостериорная вероятность.

Случайная величина задается тремя объектами: множеством элементарных событий, множеством событий и вероятностью событий. Те значения,которые может принимать случайная величина, называютсяэлементарными событиями. Наборы элементарных событий называютсясобытиями . Для числовых и других не очень сложных случайных величин любой конкретно заданный набор элементарных событий есть событие.

Приведем пример: бросание игральной кости.

Всего имеется 6 элементарных событий: «очко», «2 очка», «3 очка»… «6 очков». Событие – любой набор элементарных событий, например «чет» -сумма элементарных событий «2 очка», «4 очка» и «6 очков».

Вероятность любого элементарного события P(A) равна 1/6:

вероятность события – количеству входящих в него элементарных событий, деленному на 6.

Достаточно часто в добавление к известной вероятности события имеется некоторая дополнительная информация, которая меняет эту вероятность. Например, летальность больных. поступивших в больницу с острой кровоточащей язвой желудка, составляет около 10%. Однако, если больному больше 80 лет, эта летальность составляет 30%.

Для описания таких ситуаций были введены так называемые условные вероятности . Они обозначаются, какP(A/B) и читаются «вероятность события А при условии события В». Для вычисления условной вероятности используется формула:

Вернемся к предыдущему примеру:

Пусть среди больных, поступивших в больницу с острой кровоточащей язвой желудка 20% - больные старше 80 лет. Причем, среди всех больных доля умерших больных старше 80 лет – 6%(напомним, что доля всех умерших составляет 10%). В этом случае

При определении условных вероятностей часто пользуются терминами априорной (буквально – до опыта) иапостериорной (буквально – после опыта) вероятности.

Пользуясь условными вероятностями, можно по одним вероятностям вычислить другие, например, менять местами событие и условие.

Рассмотрим эту технику на примере анализа связи риска заболевания ревматизма (ревматической лихорадкой) и одного из антигенов, являющихся для него фактором риска.

Частота заболевания ревматизмом – около 1%. Обозначим наличие ревматизма как R + , тогда какP(R +)=0,01.

Наличие антигена будем обозначать, как А + . Его находят у 95% больных ревматизмом и у 6% лиц, ревматизмом не болеющих. В наших обозначениях это: условные вероятности Р(А + /R +)=0,95 и Р(А + /R -)=0,06.

На основании этих трех вероятностей будем последовательно определять другие вероятности.

Прежде всего, если заболеваемость ревматизмом P(R +)=0,01, то вероятность не заболетьP(R -)=1-P(R +)=0,99.

Из формулы для условной вероятности находим, что

Р(А + иR +)= Р(А + /R +) * Р(R +) = 0,95*0,01 = 0,0095, или 0,95% популяции одновременно и болеют ревматизмом и имеют антиген.

Аналогично

Р(А + иR -)= Р(А + /R -) * Р(R -) = 0,06*0,99 = 0,0594, или 5,94% популяции носят антиген, но ревматизмом не болеют.

Так как все имеющие антиген или болеют ревматизмом или и не болеют (но не одновременно и то и другое), то сумма двух последних вероятностей дает частоту носительства антигена в популяции в целом:

Р(А +)= Р(А + иR +) + Р(А + иR -) = 0,0095 + 0,0594 = 0,0689

Соответственно, доля людей, не имеющих антиген равна

Р(А -)=1- Р(А +) = 0,9311

Так как заболеваемость ревматизмом равна 1%, а доля лиц, имеющих антиген и болеющих ревматизмом, равна 0,95%, то доля лиц, болеющих ревматизмом и не имеющих антигена равна:

Р(А - иR +) = Р(R +) - Р(А + иR +) = 0,01 – 0,0095 = 0,0005

Теперь будем двигаться в обратную сторону, переходя от вероятностей событий и их комбинаций к условным вероятностям. По исходной формуле условной вероятности Р(А + /R +)= Р(R + иA +)/ Р(А +) = 0,0095/0,06890,1379 , или примерно 13,8% лиц, носящих антиген, заболеют ревматизмом. Так как заболеваемость популяции в целом лишь 1%, то факт выявления антигена повышает вероятность заболевания ревматизмом в 14 раз.

Аналогичным образом Р(R + /А -)=Р(R + иA -)/ Р(А -) = 0,0005/0,93110,000054, то есть тот факт, что при проверке антигена не обнаружено, снижает вероятность заболевания ревматизмом в 19 раз.

Оформим эту задачу в электронной таблице Excel:

Наличие ревматизма R+
Наличие антигена у болеющих А+
Наличие антигена у неболеющих А+
Вероятность не заболеть	P(R -)=1- P(R +)
Одновременно и болеют ревматизмом и имеют антиген	Р(А + и R +)= Р(А + /R +) * Р(R +)
Носят антиген, но ревматизмом не болеют	Р(А + и R -)= Р(А + /R -) * Р(R -)
Частота носительства антигена в популяции в целом	Р(А +)= Р(А + и R +) + Р(А + и R -)
Доля людей не имеющих антиген	Р(А -)=1- Р(А +)
Доля людей, болеющих ревматизмом и не имеющих антигена	Р(А - и R +) = Р(R +) - Р(А + и R +)
Лица, носящие антиген, заболеют ревматизмом	Р(А + /R +)= Р(R + и A +)/ Р(А +)
Лица,не носящие антиген, не заболеют ревматизмом	Р(R + /А -)=Р(R + и A -)/ Р(А -)

Можно посмотреть процесс построения таблицы картинки2\p2-1.gif