Примеры оценки максимального правдоподобия

Предположим, что у нас есть случайный пример от населения, представляющего интерес. У нас может быть теоретическая модель того, как Население распространяется Тем не менее, может быть несколько человек параметры из которых мы не знаем значений. Оценка максимального правдоподобия является одним из способов определения этих неизвестных параметров.

Основная идея оценки максимального правдоподобия состоит в том, что мы определяем значения этих неизвестных параметров. Мы делаем это таким образом, чтобы максимизировать совместную функцию плотности вероятности или функция вероятности массы. Мы увидим это более подробно в дальнейшем. Затем мы рассчитаем несколько примеров оценки максимального правдоподобия.

Приведенное выше обсуждение может быть суммировано с помощью следующих шагов:

1. Начнем с выборки независимых случайных величин X₁, ИКС₂,... Икс_N из общего распределения, каждое с функцией плотности вероятности f (x; θ₁,.. .θ_К). Тэты - это неизвестные параметры.
instagram viewer
2. Поскольку наша выборка независима, вероятность получения конкретной выборки, которую мы наблюдаем, определяется путем умножения наших вероятностей вместе. Это дает нам функцию правдоподобия L (θ₁,.. .θ_К) = f (x₁ ;θ₁,.. .θ_К) f (x₂ ;θ₁,.. .θ_К)... f (x_N ;θ₁,.. .θ_К) = Π f (x_я ;θ₁,.. .θ_К).
3. Далее мы используем Исчисление найти значения тета, которые максимизируют нашу функцию правдоподобия L.
4. Более конкретно, мы дифференцируем функцию правдоподобия L по θ, если существует один параметр. Если имеется несколько параметров, мы вычисляем частные производные от L по каждому из тета-параметров.
5. Чтобы продолжить процесс максимизации, установите производную от L (или частную производную) равной нулю и решите для тета.
6. Затем мы можем использовать другие методы (например, тест второй производной), чтобы убедиться, что мы нашли максимум для нашей функции правдоподобия.

Предположим, у нас есть пакет семян, каждое из которых имеет постоянную вероятность п успеха прорастания. Мы сажаем N из них и подсчитать количество тех, которые прорастают. Предположим, что каждое семя прорастает независимо от других. Как мы определяем оценку максимального правдоподобия параметра п?

Начнем с того, что отметим, что каждое семя моделируется распределением Бернулли с успехом п. Мы позволим Икс может быть 0 или 1, а функция вероятности массы для одного семени е( Икс; п ) = п^Икс(1 - п)^{1 - х}.

Наш образец состоит из N разные Икс_якаждый из них имеет распределение Бернулли. Семена, которые прорастают, имеют Икс_я = 1 и семена, которые не могут прорасти, имеют Икс_я = 0.

Функция правдоподобия определяется как:

L ( п ) = Π п^Икс_я(1 - п)^{1 - Икс}_я

Мы видим, что можно переписать функцию правдоподобия, используя законы показателей.

L ( п ) = п^{Σ x}_я(1 - п)^{N - Σ x}_я

Далее мы дифференцируем эту функцию по отношению к п. Мы предполагаем, что значения для всех Икс_я известны и, следовательно, являются постоянными. Для дифференциации функции правдоподобия нам нужно использовать Правило продукта вместе с правилом власти:

L '( п ) = Σ x_яп^{-1 + Σ x}_я (1 - п)^{N - Σ x}_я- (N - Σ x_я )п^{Σ x}_я(1 - п)^{N-1 - Σ x}_я

Мы переписываем некоторые отрицательные показатели и имеем:

L '( п ) = (1/п) Σ x_яп^{Σ x}_я (1 - п)^{N - Σ x}_я- 1/(1 - п) (N - Σ x_я )п^{Σ x}_я(1 - п)^{N - Σ x}_я

= [(1/п) Σ x_я - 1/(1 - п) (N - Σ x_я)]_яп^{Σ x}_я (1 - п)^{N - Σ x}_я

Теперь, чтобы продолжить процесс максимизации, мы устанавливаем эту производную равной нулю и решаем для п:

0 = [(1/п) Σ x_я - 1/(1 - п) (N - Σ x_я)]_яп^{Σ x}_я (1 - п)^{N - Σ x}_я

поскольку п и (1- п) ненулевые

0 = (1/п) Σ x_я - 1/(1 - п) (N - Σ x_я).

Умножая обе части уравнения на п(1- п) дает нам:

0 = (1 - п) Σ x_я - п (N - Σ x_я).

Расширяем правую часть и видим:

0 = Σ x_я - п Σ x_я - пN + pΣ x_я = Σ x_я - пN.

Таким образом, Σ x_я = пN и (1 / n) Σ x_я = стр. Это означает, что оценка максимального правдоподобия п образец среднего. Более конкретно, это примерная доля проросших семян. Это совершенно соответствует тому, что нам скажет интуиция. Чтобы определить долю семян, которые прорастут, сначала рассмотрите образец из популяции, представляющей интерес.

В приведенный выше список шагов внесены некоторые изменения. Например, как мы видели выше, обычно стоит потратить некоторое время на использование некоторой алгебры для упрощения выражения функции правдоподобия. Причина этого состоит в том, чтобы облегчить дифференциацию.

Еще одно изменение в приведенном выше списке шагов заключается в рассмотрении натуральных логарифмов. Максимум для функции L будет происходить в той же точке, что и для натурального логарифма L. Таким образом, максимизация ln L эквивалентна максимизации функции L.

Во многих случаях из-за наличия экспоненциальных функций в L взятие натурального логарифма L значительно упростит некоторые из наших работ.

Мы видим, как использовать натуральный логарифм, вернувшись к примеру сверху. Начнем с функции правдоподобия:

L ( п ) = п^{Σ x}_я(1 - п)^{N - Σ x}_я .

Затем мы используем наши законы логарифма и видим, что:

Р( п ) = ln L ( п ) = Σ x_я пер р + (N - Σ x_я) ln (1 - п).

Мы уже видим, что производную гораздо проще вычислить:

Р'( п ) = (1/п) Σ x_я - 1/(1 - п)(N - Σ x_я) .

Теперь, как и прежде, мы устанавливаем эту производную равной нулю и умножаем обе стороны на п (1 - п):

0 = (1- п ) Σ x_я - п(N - Σ x_я) .

Мы решаем за п и найти тот же результат, что и раньше.

Использование натурального логарифма L (p) полезно по-другому. Намного легче вычислить вторую производную от R (p), чтобы убедиться, что у нас действительно есть максимум в точке (1 / n) Σ x_я = стр.

Для другого примера предположим, что у нас есть случайная выборка X₁, ИКС₂,... Икс_N от населения, которое мы моделируем с экспоненциальным распределением. Функция плотности вероятности для одной случайной величины имеет вид е( Икс ) = θ^-1е ^-Икс/θ

Функция правдоподобия задается совместной функцией плотности вероятности. Это продукт нескольких из этих функций плотности:

L (θ) = Π θ^-1е ^-Икс_я^/θ = θ^-nе ^-ΣИкс_я^/θ

Еще раз полезно рассмотреть натуральный логарифм функции правдоподобия. Дифференцирование этого потребует меньше работы, чем дифференцирование функции правдоподобия:

R (θ) = ln L (θ) = ln [θ^-nе ^-ΣИкс_я^/θ]

Мы используем наши законы логарифмов и получаем:

R (θ) = ln L (θ) = - N ln θ + -ΣИкс_я/θ

Мы дифференцируем по θ и имеем:

R '(θ) = - N / θ + ΣИкс_я/θ²

Установите эту производную равной нулю, и мы видим, что:

0 = - N / θ + ΣИкс_я/θ².

Умножьте обе стороны на θ² и результат:

0 = - N θ + ΣИкс_я.

Теперь используйте алгебру, чтобы решить для θ:

θ = (1 / n) ΣИкс_я.

Из этого мы видим, что выборочное среднее - это то, что максимизирует функцию правдоподобия. Параметр θ, чтобы соответствовать нашей модели, должен просто быть средним значением всех наших наблюдений.

связи

Есть и другие типы оценщиков. Один альтернативный тип оценки называется объективный оценщик. Для этого типа мы должны вычислить ожидаемое значение нашей статистики и определить, соответствует ли оно соответствующему параметру.