Задача оценки параметров распределения заключается в получении наиболее правдоподобных оценок неизвестных параметров распределения генеральной совокупности на основании выборочных данных. Кроме метода моментов для определения точечной оценки параметров распределения используется также метод наибольшего правдоподобия . Метод наибольшего правдоподобия был предложен английским статистиком Р. Фишером в 1912 г.

Пусть для оценки неизвестного параметра  случайной величины Х из генеральной совокупности с плотностью распределения вероятностей p (x )= p (x , ) извлечена выборка x 1 ,x 2 ,…,x n . Будем рассматривать результаты выборки как реализацию n -мерной случайной величины (X 1 ,X 2 ,…,X n ). Рассмотренный ранее метод моментов для получения точечных оценок неизвестных параметров теоретического распределения не всегда дает наилучшие оценки. Методом поиска оценок, обладающих необходимыми (наилучшими) свойствами, является метод максимального правдоподобия.

В основе метода максимального правдоподобия лежит условие определения экстремума некоторой функции, называемой функцией правдоподобия.

Функцией правдоподобия ДСВ Х

L (x 1 ,x 2 ,…,x n ; )=p (x 1 ; ) p (x 2 ; )… p (x n ; ),

где x 1, …, x n – фиксированные варианты выборки,  – неизвестный оцениваемый параметр, p (x i ; ) – вероятность события X = x i .

Функцией правдоподобия НСВ Х называют функцию аргумента :

L (x 1 ,x 2 ,…,x n ; )=f (x 1 ; ) f (x 2 ; )… f (x n ; ),

где f (x i ; ) – заданная функция плотности вероятности в точках x i .

В качестве точечной оценки параметров распределения  принимают такое его значение при котором функция правдоподобия достигает своего максимума. Оценку
называютоценкой максимального правдоподобия . Т.к. функции L и
L достигают своего максимума при одинаковых значениях , то обычно для нахождения экстремума (максимума) используют
L как более удобную функцию.

Для определения точки максимума
L надо воспользоваться известным алгоритмом для вычисления экстремума функции:

В том случае, когда плотность вероятности зависит от двух неизвестных параметров –  1 и  2 , то находят критические точки, решив систему уравнений:

Итак, согласно методу наибольшего правдоподобия, в качестве оценки неизвестного параметра  принимается такое значение *, при котором
распределения выборкиx 1 ,x 2 ,…,x n максимальна.

Задача 8. Найдем методом наибольшего правдоподобия оценку для вероятностиp в схеме Бернулли,

Проведем n независимых повторных испытаний и измерим число успехов, которое обозначим m . По формуле Бернулли вероятность того, что будет m успехов из n –– есть функция правдоподобия ДСВ.

Решение : Составим функцию правдоподобия
.

Согласно методу наибольшего правдоподобия, найдем такое значение p , которое максимизирует L , а вместе с ней и ln L .

Тогда логарифмируя L , имеем:

Производная функции lnL по p имеет вид
и в точке экстремума равна нулю. Поэтому, решив уравнение
, имеем
.

Проверим знак второй производной
в полученной точке:

. Т.к.
при любых значениях аргумента, то найденное значениеp есть точка максимума.

Значит, – наилучшая оценка для
.

Итак, согласно методу наибольшего правдоподобия, оценкой вероятности p события А в схеме Бернулли служит относительная частота этого события .

Если выборка x 1 , x 2 ,…, x n извлечена из нормально распределенной совокупности, то оценки для математического ожидания и дисперсии методом наибольшего правдоподобия имеют вид:

Найденные значения совпадают с оценками этих параметров, полученными методом моментов. Т.к. дисперсия смещена, то ее необходимо умножить на поправку Бесселя. Тогда она примет вид
, совпадая с выборочной дисперсией.

Задача 9 . Пусть дано распределение Пуассона
где приm = x i имеем
. Найдем методом наибольшего правдоподобия оценку неизвестного параметра .

Решение :

Составив функцию правдоподобия L и ее логарифм ln L . Имеем:

Найдем производную от lnL :
и решим уравнение
. Полученная оценка параметра распределения примет вид:
Тогда
т.к. при
вторая частная производная
то это точка максимума. Т.о., в качестве оценки наибольшего правдоподобия параметра для распределения Пуассона можно принять выборочное среднее.

Можно убедиться, что припоказательном распределении
функция правдоподобия для выборочных значенийx 1 , x 2 , …, x n имеет вид:

.

Оценка параметра распределения  для показательного распределения равна:
.

Достоинством метода наибольшего правдоподобия является возможность получить «хорошие» оценки, обладающие такими свойствами, как состоятельность, асимптотическая нормальность и эффективность для выборок больших объемов при самых общих условиях.

Основным недостатком метода является сложность решения уравнений правдоподобия, а также то, что не всегда известен анализируемый закон распределения.

До сих пор мы считали, что оценка неизвестного параметра известна и занимались изучением ее свойств с целью использования их при построении доверительного интервала. В этом параграфе рассмотрим вопрос о способах построения оценок.

Методы правдоподобия

Пусть требуется оценить неизвестный параметр, вообще говоря, векторный, . При этом предполагается, что вид функции распределения известен с точностью до параметра,

В таком случае все моменты случайной величины становятся функциями от:

Метод моментов требует выполнения следующих действий:

Вычисляем k «теоретических» моментов

По выборке строим k одноименных выборочных моментов. В излагаемом контексте это будут моменты

Приравнивая «теоретические» и одноименные им выборочные моменты, приходим к системе уравнений относительно компонент оцениваемого параметра

Решая полученную систему (точно или приближенно), находим исходные оценки. Они, конечно, являются функциями от выборочных значений.

Мы изложили порядок действий, исходя из начальных - теоретических и выборочных - моментов. Он сохраняется при ином выборе моментов, начальных, центральных или абсолютных, который определяется удобством решения системы (25.1) или ей подобной.

Перейдем к рассмотрению примеров.

Пример 25.1. Пусть случайная величина распределена равномерно на отрезке [ ; ] , где - неизвестные параметры. По выборке () объема n из распределения случайной величины. Требуется оценить и.

В данном случае распределение определяется плотностью

1) Вычислим первые два начальных «теоретических» момента:

2) Вычислим по выборке два первых начальных выборочных момента

3) Составим систему уравнений

4) Из первого уравнения выразим через

и подставим во второе уравнение, в результате чего придём к квадратному уравнению

решая которое, находим два корня

Соответствующие значения таковы

Поскольку по смыслу задачи должно выполнятся условие < , выбираем в качестве решения системы и оценок неизвестных параметров

Замечая, что есть не что иное, как выборочная дисперсия, получаем окончательно

Если бы мы выбрали в качестве «теоретических» моментов математическое ожидание и дисперсию, то пришли бы к системе (с учетом неравенства <)

которая линейна и решается проще предыдущей. Ответ, конечно, совпадает с уже полученным.

Наконец, отметим, что наши системы всегда имеет решение и при том единственное. Полученные оценки, конечно, состоятельны, однако свойствам несмещенности не обладают.

Метод максимального правдоподобия

Изучается, как и прежде, случайная величина, распределение которой задается либо вероятностями её значений, если дискретна, либо плотностью распределения, если непрерывна, где - неизвестный векторный параметр. Пусть () - выборка значений. Естественно в качестве оценки взять то значение параметра, при котором вероятность получения уже имеющейся выборки максимальна.

Выражение

называют функцией правдоподобия , она представляет собой совместное распределение или совместную плотность случайного вектора с n независимыми координатами, каждая из которых имеет то же распределение (плотность), что и.

В качестве оценки неизвестного параметра берется такое его значение, которое доставляет максимум функции, рассматриваемой как функции от при фиксированных значениях. Оценку называют оценкой максимального правдоподобия . Заметим, что зависит от объема выборки n и выборочных значений

и, следовательно, сама является случайной величиной.

Отыскание точки максимума функции представляет собой отдельную задачу, которая облегчается, если функция дифференцируема по параметру.

В этом случае удобно вместо функции рассматривать её логарифм, поскольку точки экстремума функции и её логарифма совпадают.

Методы дифференциального исчисления позволяют найти точки, подозрительные на экстремум, а затем выяснить, в какой из них достигается максимум.

С этой целью рассматриваем вначале систему уравнений

решения которой - точки, подозрительные на экстремум. Затем по известной методике, вычисляя значения вторых производных

по знаку определителя, составленного из этих значений, находим точку максимума.

Оценки, полученные по методу максимального правдоподобия, состоятельны, хотя могут оказаться смещенными.

Рассмотрим примеры.

Пример 25.2. Пусть производится некоторый случайный эксперимент, исходом которого может быть некоторое события А, вероятность Р(А) которого неизвестна и подлежит оцениванию.

Введем случайную величину равенством

если событие А произошло,

если событие А не произошло (произошло событие).

Распределение случайной величины задается равенством

Выборкой в данном случае будет конечная последовательность (), где каждое из может быть равно 0 либо 1.

Функция правдоподобия будет иметь вид

Найдем точку её максимума по р, для чего вычислим производную логарифма

Обозначим - это число равно количеству единиц «успехов» в выбранной последовательности.

В предыдущем разделе рассматривалась байесовская теория оценивания. Одной из наиболее полезных оценок, полученных там, является оценка по максимуму апостериорной плотности вероятности. Значения этой оценки определяются путем максимизации условной плотности

относительно переменной . Для этой оценки было введено специальное обозначение . Так как безусловная плотность не зависит от параметра , то значения оценки могут отыскиваться путем максимизации совместной плотности

относительно . Можно также максимизировать значение натурального логарифма от этой плотности. В этом случае значение оценки при каждой выборке является корнем уравнения

Предположим теперь, что никаких априорных сведений о параметре нет. Если бы параметр был случайным и имел нормальную плотность вероятности

,

то рассматриваемый здесь случай можно было бы получить предельным переходом при неограниченном увеличении дисперсий всех компонент вектора . Так как при этом

,

то при имеем . Таким образом, при отсутствии априорных сведений о параметре можно положить

. (6.27)

Получающаяся при этом из ур-ния (6.26) оценка называется оценкой максимального правдоподобия. Она является корнем уравнения

(6.28)

или, что эквивалентно,

. (6.29)

Оценка максимального правдоподобия была предложена раньше, чем была развита байесовская теория оценивания . Она определялась как значение параметра , при котором функция правдоподобия принимает наибольшее значение. Из приведенных выше рассуждений должно быть очевидным, что точность оценки максимального правдоподобия будет хуже, чем байесовской оценки. Несмотря на это, существуют достаточно веские причины, из-за которых использование этой оценки оказывается разумным. Так, довольно часто встречаются задачи оценивания, в которых

Параметр не является случайным, а его значение неизвестно;

Параметр является случайным, однако его априорная плотность вероятности неизвестна;

Выражение для апостериорной плотности [или для ] оказывается настолько сложным, что его трудно использовать для вычислений, в то время как функция правдоподобия имеет относительно простой вид.

В первом случае вообще нет возможности найти байесовскую оценку, поскольку о плотности вероятности вообще нельзя говорить. Один из возможных путей преодоления этой трудности состоит в том, чтобы использовать псевдобайесовские оценки. Такие оценки будут рассмотрены в § 6.5.

Пример 6.6. Рассмотрим одну из классических задач оценивания, которая была решена с использованием оценок максимального правдоподобия. Пусть требуется оценить среднее значение и дисперсию нормальной случайной величины по выборке из независимых наблюдений этой величины. Для наблюдаемой величины при этом имеем

, где

В силу независимости наблюдений можно зависать

В этой задаче подлежащие оцениванию параметры и не являются случайными, так чтобайесовские оценки найти нельзя.

Это уравнение имеет единственный корень , который и следует принять в качестве оценки максимального правдоподобия для среднего значения. Так как математическое ожидание этой оценки совпадает со значением оцениваемого параметра, т. е. то эту оценку называют несмещенной.

Случай 2. Предположим теперь, что значение параметра известно. Оценка максимального правдоподобия для дисперсии в этом случае является корнем уравнения

.

Решив это уравнение, получаем

.

Эта оценка также является несмещенной, поскольку .

Рассмотрим теперь задачу оценивания стандартного отклонения . Можно предположить, что эта оценка представляется как корень квадратный из оценки для дисперсии. Это действительно так, поскольку оценка

является корнем уравнения

Случай 3. Значения обоих параметров и неизвестны. В этом случае оцениваться должны два параметра и . Вычисляя производные функции правдоподобия по переменным и , приравнивая их нулю и решая найденную систему из двух уравнений, получаем

; .

Оценка среднего значения здесь вновь является несмещенной, а среднее значение оценки дисперсии равно значению оцениваемого параметра, т. е. в указанных условиях является смещенной. Можно было бы, введя поправку, получить несмещенную оценку , которая не является, однако, более оценкой максимального правдоподобия.

Часто полезно иметь алгоритмы последовательного вычисления оценок и . Здесь нижние индексы оценок максимального правдоподобия заменены индексом , который указывает объем используемой для оценивания выборки. При объеме выборки, равном , оценка . Поэтому алгоритм последовательного вычисления этой оценки имеет вид . Алгоритм последовательного вычисления оценки отыскивается несколько сложнее. Воспользуемся уже полеченным ранее выражением для оценки

и выпишем аналогичное выражение для оценки

.

Оценку теперь представим в рекуррентном виде. Тогда из двух выписанных равенств после немногочисленных алгебраических преобразований получаем

Рекуррентные алгоритмы вычисления оценок и должны использоваться совместно.

Пример 6.7. Найдем оценку максимального правдоподобия для параметра рассматривавшегося в примере 6.1. Теперь плотность вероятности

Оценка максимального правдоподобия определяется как корень уравнения

и имеет вид

В рассматриваемом случае можно найти и байесовскую оценку

Если принять, что , , то оценка, обеспечивающая минимум среднеквадратической ошибки, совпадает с оценкой максимального правдоподобия. Интересно отметить, что в этом случае оценка с минимальной дисперсией, которая совпадает также с байесовской оценкой при модульной функции стоимости и с оценкой по максимуму апостериорной плотности вероятности, так же, как и оценка максимального правдоподобия, является несмещенной.

Чрезвычайно полезно вычислить корреляционные матрицы вектора ошибок этих двух оценок. Для байесовской оценки такая матрица уже была вычислена и было показано, что

Для оценки максимального правдоподобия получаем

Если теперь воспользоваться представлением , то

Корреляционная матрица вектора ошибок при использовании оценки максимального правдоподобия всегда больше, чем корреляционная матрица вектора ошибок для оценки с минимальной среднеквадратической ошибкой. Эти матрицы совпадают только в том случае, когда .

Полезно рассмотреть также случай, когда матрица является единичной, т. е . При этом .

Оценка максимального правдоподобия, байесовская оценка и их корреляционные матрицы в этом случае принимают вид

Здесь нельзя ожидать, что оценка максимального правдоподобия окажется достаточно точной, поскольку ее значения просто совпадают со значениями получаемой выборки.

Если объем выборки намного больше размерности оцениваемого параметра , то оценка максимального правдоподобия может оказаться достаточно хорошей. Например, пусть , где - скалярный параметр, а векторы и имеют размерность . Предположим также, что

и . Рассматривающиеся здесь оценки и их среднеквадратические ошибки при этом определяются соотношениями

; ;

; .

Часто оказывается, что для достаточно больших значений выполняется неравенство . В этом случае среднеквадратические ошибки обеих оценок будут фактически одинаковы.

Аналогичные результаты можно получить при непрерывном времени для примера 6.3. Если модель наблюдений в последнем примере с дискретным временем трактовать как дискретный аналог следующей модели наблюдаемого процесса

; .

где - нормальный белый шум с нулевым средним значением, то, используя обозначения примера 6.3, можно получить

; .

Отсюда следует, что если вид функции не изменяется при изменении , то среднеквадратическая ошибка оценивания уменьшается с ростом . Если же энергия сигнала , определяемая как , должна оставаться постоянной при любом значении параметра , то значение среднеквадратической ошибки не зависит ни от длительности , ни от формы сигнала . Если , то среднеквадратическая ошибка байесовской оценки фактически будет такой же, как и у оценки максимального правдоподобия. Если же это не так и справедливо обратное неравенство , то это означает, что либо имеется достаточно интенсивный шум ( велико), либо имеется хорошая априорная оценка для , с которой можно начать ( мало). Значения оценки с минимальной среднеквадратической ошибкой и среднеквадратическая ошибка этой оценки при этом мало отличаются от соответствующих параметров априорного распределения и можно записать

;

.

Так что в этом случае среднее значение априорного распределения принимается в качестве наилучшей оценки для параметра . В примере 6.5 уже отмечалось, что при больших отношениях сигнал/шум среднеквадратические ошибки оценивания при использовании оценки по максимуму апостериорной плотности и оценки с минимальной среднеквадратической ошибкой практически одинаковы. Из результатов этого примера следует, что при больших значениях отношения сигнал/шум (здесь при ) точность оценок и практически такая же, как и у оценки максимального правдоподобия

Пример 6.8. Приведем теперь подробный анализ простой задачи оценивания по методу максимального правдоподобия при наличии окрашенного шума. В процессе решения этой задачи будут проиллюстрированы соображения, которыми можно будет пользоваться при практическом выборе интервала дискретизации. Пусть наблюдению доступны реализации скалярного процесса , , где - постоянный скалярный параметр, и

Для решения задачи оценивания параметра поступим следующим образом. Введем соответствующую модель наблюдений при дискретном времени , , , где период отсчетов выбирается так, чтобы изменения процесса на таком интервале были хорошо заметны. Для этой модели имеем

Наблюдаемый процесс можно теперь записать в векторной форме:

.

Оценка максимального правдоподобия параметра

где ковариационная матрица шума имеет элементы: (или от периода отсчетов компоненты вектора (или ) при дальнейшем, даже неограниченном, увеличении объема выборки оказывается незначительным.

Рис. 6.8. Зависимость дисперсии ошибки оценивания от объема выборки (пример 6.8.): 1 - алгоритм, ориентированный на белый шум; 2 - алгоритм, ориентированный на окрашенный шум.

Приведенное выше выражение для справедливо только в том случае, если компоненты вектора в самом деле независимы. Истинное значение среднеквадратической ошибки оценивания при использовании оценки в случае окрашенного шума может быть найдено из соотношения

) алгоритм, ориентированный на белый шум, обеспечивает значение среднеквадратической ошибки, лишь незначительно превышающее значение ошибки для алгоритма, ориентированного на окрашенный шум. Поскольку алгоритмы для белого шума намного проще, чем алгоритмы для окрашенного шума, то в практических приложениях можно поступить следующим образом, объем выборки принять равным 40 и использовать простые алгоритмы оценивания, ориентированные на белый шум, если такая высокая частота отсчетов допустима. Среднеквадратическая ошибка оценивания по выборке объема при использовании алгоритма для окрашенного шума (когда шум на самом деле окрашен) равна среднеквадратической ошибке оценивания по выборке объема при использовании алгоритма для белого шума. Отношение этих среднеквадратических ошибок при равно примерно двум.

Известный таксономист Джо Фельзенштейн (Felsenstein, 1978) был первым, кто предложил оценивать филогенетические теории не на основе парсимо-

нии, а средствами математической статистистики. В результате был разработан метод максимального правдоподобия (maximum likelihood).

Этот метод основывается на предварительных знаниях о возможных путях эволюции, то есть требует создания модели изменений признаков перед проведением анализа. Именно для построения этих моделей и привлекаются законы статистики.

Под правдоподобим понимается вероятность наблюдения данных в случае принятия определенной модели событий. Различные модели могут делать наблюдаемые данные более или менее вероятными. Например, если вы подбрасываете монету и получаете «орлов» только в одном случае из ста, тогда вы можете предположить, что эта монета бракованная. В случае принятия вами данной модели, правдоподобие полученного результата будет достаточно высоким. Если же вы основываетесь на модели, согласно которой монета является небракованной, то вы могли бы ожидать увидеть «орлов» в пятидесяти случаях, а не в одном. Получить только одного «орла» при ста подбрасываниях небракованной монеты статистически маловероятно. Другими словами, правдоподобие получения результата один «орел» на сто «решек» является в модели небракованной монеты очень низким.

Правдоподобие – это математическая величина. Обычно оно вычисляется по формуле:

где Pr(D|H) – это вероятность получения данных D в случае принятия гипотезы H. Вертикальная черта в формуле читается как «для данной». Поскольку L часто оказывается небольшой величиной, то обычно в исследованиях используется натуральный логарифм правдоподобия.

Очень важно различать вероятность получения наблюдаемых данных и вероятность того, что принятая модель событий правильна. Правдоподобие данных ничего не говорит о вероятности модели самой по себе. Философ-биолог Э.Собер (Sober) использовал следующий пример для того, чтобы сделать ясным это различие. Представьте, что вы слышите сильный шум в комнате над вами. Вы могли бы предположить, что это вызвано игрой гномов в боулинг на чердаке. Для данной модели ваше наблюдение (сильный шум над вами) имеет высокое правдоподобие (если бы гномы действительно играли в боулинг над вами, вы почти наверняка услышали бы это). Однако, вероятность того, что ваша гипотеза истинна, то есть, что именно гномы вызвали этот шум, – нечто совсем иное. Почти наверняка это были не гномы. Итак, в этом случае ваша гипотеза обеспечивает имеющимся данным высокое правдоподобие, но сама по себе в высшей степени маловероятна.

Используя данную систему рассуждений, метод максимального правдоподобия позволяет статистически оценивать филогенетические деревья, полученные средствами традиционной кладистики. По сути, этот метод заключа-

ется в поиске кладограммы, обеспечивающей наиболее высокую вероятность имеющегося набора данных.

Рассмотрим пример, иллюстрирующий применение метода максимального правдоподобия. Предположим, что у нас имеется четыре таксона, для которых установлены последовательности нуклеотидов определенного сайта ДНК (рис.16).

Если модель предполагает возможность реверсий, то мы можем укоренить это дерево в любом узле. Одно из возможных корневых деревьев изображено на рис. 17.2.

Мы не знаем, какие нуклеотиды присутствовали в рассматриваемом локусе у общих предков таксонов 1-4 (эти предки соответствуют на кладограмме узлам X и Y). Для каждого из этих узлов существует по четыре варианта нуклеотидов, которые могли там находиться у предковых форм, что в результате дает 16 филогенетических сценариев, приводящих к дереву 2. Один из таких сценариев изображен на рис. 17.3.

Вероятность данного сценария может быть определена по формуле:

где P A – вероятность присутствия нуклеотида A в корне дерева, которая равна средней частоте нуклеотида А (в общем случае = 0,25); P AG – вероятность замены А на G; P AC – вероятность замены А на С; P AT – вероятность замены А на T; последние два множителя – это вероятность созраниния нуклеотида T в узлах X и Y соответственно.

Еще один возможный сценарий, который позволяет получить те же данные, показан на рис. 17.4. Поскольку существует 16 подобных сценариев, может быть определена вероятность каждого из них, а сумма этих вероятностей будет вероятностью дерева, изображенного на рис. 17.2:

Где P tree 2 – это вероятность наблюдения данных в локусе, обозначенном звездочкой, для дерева 2.

Вероятность наблюдения всех данных во всех локусах данной последовательности является произведением вероятностей для каждого локуса i от 1 до N:

Поскольку эти значения очень малы, используется и другой показатель – натуральный логарифм правдоподобия lnL i для каждого локуса i. В этом случае логарифм правдоподобия дерева является суммой логарифмов правдоподобий для каждого локуса:

Значение lnL tree – это логарифм правдоподобия наблюдения данных при выборе определенной эволюционной модели и дерева с характерной для него

последовательностью ветвления и длиной ветвей. Компьютерные программы, применяемые в методе максимального правдоподобия (например, уже упоминавшийся кладистический пакет PAUP), ведут поиск дерева с максимальным показателем lnL. Удвоенная разность логарифмов правдоподобий двух моделей 2Δ (где Δ = lnL tree A- lnL treeB) подчиняется известному статистическому распределению х 2 . Благодаря этому можно оценить, действительно ли одна модель достоверно лучше, чем другая. Это делает метод максимального правдоподобия мощным средством тестирования гипотез.

В случае четырех таксонов требуется вычисления lnL для 15 деревьев. При большом числе таксонов оценить все деревья оказывается невозможным, поэтому для поиска используются эвристические методы (см. выше).

В рассмотренном примере мы использовали значения вероятностей замены (субституции) нуклеотидов в процессе эволюции. Вычисление этих вероятностей является самостоятельно статистической задачей. Для того чтобы реконструировать эволюционное дерево, мы должны сделать определенные допущения по поводу процесса субституции и выразить эти допущения в виде модели.

В самой простой модели вероятности замен какого-либо нуклеотида на любой другой нуклеотид признаются равными. Эта простая модель имеет только один параметр - скорость субституции и известна как однопарамет-рическая модель Джукса - Кантора или JC (Jukes, Cantor, 1969). При использовании этой модели нам необходимо знать скорость, с которой происходит субституция нуклеотидов. Если мы знаем, что в момент времени t= 0 в некотором сайте присутствует нуклеотид G, то мы можем вычислить вероятность того, что в этом сайте через некоторый промежуток времени t нуклеотид G сохранится, и вероятность, того, что в этом сайте произойдет замена на другой нуклеотид, например A. Эти вероятности обозначаются как P(gg) и P (ga) соответственно. Если скорость субституции равна некоторому значению α в единицу времени, тогда

Поскольку в соответствии с однопараметрической моделью любые субституции равновероятны, более общее утверждение будет выглядеть следующим образом:

Разработаны и более сложные эволюционные модели. Эмпирические наблюдения свидетельствуют, что некоторые субституции могут происходить

чаще, чем другие. Субституции, в результате которых один пурин замещается другим пурином, называются транзициями, а замены пурина пиримидином или пиримидина пурином называются трансверсиями. Можно было бы ожидать, что трансверсии происходят чаще, чем транзиции, так как только одна из трех возможных субституций для какого-либо нуклеотида является транзицией. Тем не менее, обычно происходит обратное: транзиции, как правило, происходят чаще, чем трансверсии. Это в частности характерно для митохондриальной ДНК.

Другой причиной того, что некоторые субституции нуклеотидов происходят чаще, чем другие, является неравное соотношение оснований. Например, митохондриальная ДНК насекомых более богата аденином и тимином по сравнению с позвоночными. Если некоторые основания более распространены, можно ожидать, что некоторые субституции происходят чаще, чем другие. Например, если последовательность содержит очень немного гуанина, маловероятно, что будут происходить субституции этого нуклеотида.

Модели различаются тем, что в одних определенный параметр или параметры (например, соотношение оснований, скорости субституции) остаются фиксированными и варьируют в других. Существуют десятки эволюционных моделей. Ниже мы приведем наиболее известные из них.

Уже упомянутая Модель Джукса - Кантора (JC) характеризуется тем, что частоты оснований одинаковы: π A = π C = π G = π T , трансверсии и транзиции имеют одинаковые скорости α=β, и все субституции одинаково вероятны.

Двупараметрическая модель Кимуры (K2P) предполагает равные частоты оснований π A =π C =π G =π T , а трансверсии и транзиции имеют разные скорости α≠β.

Модель Фельзенштейна (F81) предполагает, что частоты оснований разные π A ≠π C ≠π G ≠π T , а скорости субституции одинаковы α=β.

Общая обратимая модель (REV) предполагает различные частоты оснований π A ≠π C ≠π G ≠π T , а все шесть пар субституций имеют различные скорости.

Упомянутые выше модели подразумевают, что скорости субституции одинаковы во всех сайтах. Однако в модели можно учесть и различия скоростей субституции в разных сайтах. Значения частот оснований и скоростей субституции можно как назначить априорно, так и получить эти значения из данных с помощью специальных программ, например PAUP.

Байесовский анализ

Метод максимального правдоподобия оценивает вероятность филогенетических моделей после того, как они созданы на основе имеющихся данных. Однако знание общих закономерностей эволюции данной группы позволяет создать серию наиболее вероятных моделей филогенеза без привлечения основных данных (например, нуклеотидных последовательностей). После того, как эти данные получены, появляется возможность оценить соответствие между ними и заранее построенными моделями, и пересмотреть вероятность этих исходных моделей. Метод, который позволяет это осуществить именуется байесовским анализом , и является новейшим из методов изучения филогении (см. подробный обзор: Huelsenbeck et al. , 2001).

Согласно стандартной терминологии, первоначальные вероятности принято называть априорными вероятностями (так как они принимаются прежде, чем получены данные) а пересмотренные вероятности – апостериорными (так как они вычисляются после получения данных).

Математической основой байесовского анализа является теорема Байеса, в которой априорная вероятность дерева Pr[Tree ] и правдоподобие Pr[Data|Tree ] используются, чтобы вычислить апостериорную вероятность дерева Pr[Tree|Data ]:

Апостериорная вероятность дерева может рассматриваться как вероятность того, что это дерево отражает истинный ход эволюции. Дерево с самой высокой апостериорной вероятностью выбирается в качестве наиболее вероятной модели филогенеза. Распределение апостериорных вероятностей деревьев вычисляется с использованием методов компьютерного моделирования.

Метод максимального правдоподобия и байесовский анализ нуждаются в эволюционных моделях, описывающих изменения признаков. Создание математических моделей морфологической эволюции в настоящее время не представляется возможным. По этой причине статистические методы филогенетического анализа применяются только для молекулярных данных.

И другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных, и обеспечения оценки параметров модели.

Соответствует многим известным методам оценки в области статистики. Например, предположим, что вы заинтересованы ростом жителей Украины. Предположим, у вас данные роста некоторого количества людей, а не всего населения. Кроме того предполагается, что рост является нормально распределенной величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста выборки является максимально правдоподобным к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия дает уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

• линейные модели и обобщенные линейные модели;
• факторный анализ;
• моделирования структурных уравнений;
• многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
• дискретные модели выбора.

Сущность метода

называется оце́нкой максима́льного правдоподо́бия параметра . Таким образом оценка максимального правдоподобия - это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия используют логарифмическую функцию правдоподобия . Так как функция монотонно возрастает на всей области определения, максимум любой функции является максимумом функции , и наоборот. Таким образом

Если функция правдоподобия дифференцируема, то необходимое условие экстремума - равенство нулю ее градиента :

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана - матрицы вторых производных:

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

Свойства

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными , асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

где - асимптотическая информационная матрица

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица является нижней границей для всех состоятельных асимптотически нормальных оценок.

Примеры

Последнее равенство может быть переписано в виде:

где , откуда видно, что своего максимума функция правдоподобия достигает в точке . Таким образом

Чтобы найти её максимум, приравняем к нулю частные производные :

Условный метод максимального правдоподобия

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели . В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. также

Примечания

Литература

• Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. - М .: Дело, 2007. - 504 с. - ISBN 978-5-7749-0473-0

Wikimedia Foundation . 2010 .

Смотреть что такое "Метод максимального правдоподобия" в других словарях:

метод максимального правдоподобия - — метод максимального правдоподобия В математической статистике метод оценивания параметров распределения, основанный на максимизации так называемой функции правдоподобия… …

Метод оценки по выборке неизвестных параметров функции распределения F(s; α1,..., αs), где α1, ..., αs неизвестные параметры. Если выборка из п наблюдений разбита на r непересекающихся групп s1,…, sr; р1,..., pr… … Геологическая энциклопедия

Метод максимального правдоподобия - в математической статистике метод оценивания параметров распределения, основанный на максимизации так называемой функции правдоподобия (совместной плотности вероятности наблюдений при значениях, составляющих… … Экономико-математический словарь

метод максимального правдоподобия - maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: angl. maximum likelihood method vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод максимального правдоподобия, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

метод максимального правдоподобия с частичным откликом - Метод обнаружения сигналов по Витерби, при котором обеспечивается минимальный уровень межсимвольных искажений. См. тж. Viterbi algorithm. [Л.М. Невдяев. Телекоммуникационные технологии. Англо русский толковый словарь справочник. Под редакцией Ю.М … Справочник технического переводчика

обнаружитель последовательности, использующий метод максимального правдоподобия - Устройство вычисления оценки наиболее вероятной последовательности символов, максимизирующей функцию правдоподобия принимаемого сигнала. [Л.М. Невдяев. Телекоммуникационные технологии. Англо русский толковый словарь справочник. Под редакцией Ю.М … Справочник технического переводчика

метод наибольшего правдоподобия - метод максимального правдоподобия — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом Синонимы метод максимального правдоподобия EN maximum likelihood method … Справочник технического переводчика

метод максимума правдоподобия - Общий метод вычисления оценок параметров. Ищутся оценки, которые максимизируют функцию правдоподобия выборки, равную произведению значений функции распределения для каждого наблюденного значения данных. Метод максимального правдоподобия лучше… … Словарь социологической статистики