0:13
В непрерывном случае, когда переменные
y_1 и y_2 будут непрерывны, то есть принимают любые значения из интервала,
вместо вероятности имеющейся выборки мы будем использовать плотность вероятности.
Как правило, наблюдения предполагаются независимыми,
то есть совместная функция плотности f от y_1, y_2,...,
yn и заданного параметра θ разлагается в произведение плотностей
f от y_1 помножить на f от y_2 помножить и так далее, на f от y_n.
И поскольку нам надо будет эту функцию максимизировать, то есть надо будет искать
её производную, а производную от произведения искать сложно.
Гораздо легче искать производную от суммы.
Поэтому мы будем всегда использовать стандартный трюк с логарифмированием:
мы предварительно будем логарифмировать функцию плотности.
Она будет, логарифм будет превращать произведение в сумму, и, таким образом,
мы будем максимизировать сумму логарифмов f от y_i.
Рассмотрим ещё один пример.
На этот раз с непрерывными y.
У нас есть 100 наблюдений.
Пусть это какая-то длительность, допустим, сколько прошло от
первого телефонного звонка до второго часов, от второго до третьего и так далее.
У нас есть 100 наблюдений: y_1, y_2 и так далее, y_100.
Я не буду, естественно, записывать каждое из ста наблюдений, просто сообщу,
что известно, что сумма y_i равна двумстам.
Мы предполагаем некую модель для наблюдений.
Как правило,
для длительностей предполагают экспоненциальное распределение.
Здесь мы поступим точно так же, то есть скажем, что функция плотности y равна λ –
неизвестный параметр, помножить на e в степени минус λy.
И наша задача — найти оценку λ с крышкой.
Итак, у нас есть снова наблюдения: y_1 = 1.1,
y_2 = 2.7 и так
далее, y_100 = 1.5.
Всего у нас 100 наблюдений за некоторой случайной величиной.
И нам известно, что сумма всех y_i равна двумстам по i от 1 до 100.
Помимо данных у нас, как всегда, имеется модель.
Наша модель состоит в том, что y_i наблюдения отдельны, независимы.
И на этот раз
y_i непрерывны с функцией плотности, задаваемой следующим соотношением:
λ умножить на e в степени минус λy при y
больше либо равных 0, и 0 при y меньше 0.
Такой закон распределения называется экспоненциальным,
и наша задача — найти по имеющимся наблюдениям и данной модели
оценку λ с крышкой метода максимального правдоподобия.
В отличие от дискретного случая мы выпишем не
вероятность получить наши данные, а плотность вероятности.
Итак, f(y_1,y_2,..., y_100),
совместная функция плотности, равняется.
По предположению независимости мы можем разбить эту функцию:
произведение отдельных плотностей.
3:51
Далее.
Мы подставим в формулу для функции плотности.
Получим, что это λ на e в степени минус
λy_1 помножить на λ на e в степени минус λy_2
помножить на и так далее, на λ на e в степени минус λy_100.
Или если записывать с помощью значка «произведение», произведение
по i от 1 до 100 λ помножить на e в степени минус λy_i.
Применяем наш старый трюк с логарифмированием.
Логарифм функции правдоподобия, — подчеркнём, что он зависит от λ,
— будет равняться: произведение при логарифмировании превращается в сумму по
i от 1 до 100, λ превращается в логарифм λ,
а при логарифмировании экспоненты степень слезает вперёд,
соответственно, плюс минус λ на y_i.
Ну и давайте здесь обозначим скобками границы суммирования.
Если немножко упростить это выражение, — поскольку логарифм λ,
это слагаемое не зависит от номера, от i, и у нас 100 слагаемых,
— то мы получим 100 помножить на
логарифм λ минус λ на сумму y_i.
Теперь наша задача — максимизировать это выражение по λ:
l от λ максимизируем по λ.
Берём для этого производную,
получаем: 100 помножить на 1/λ с
крышкой минус сумма y_i равняется 0.
И отсюда выражаем оценку λ с крышкой.
Мы получим, что 100 делить λ с крышкой равняется сумма y_i.
Или, наконец, оценка в общем виде: λ с крышкой равняется
100 поделить на сумму y_i.
В нашем случае, поскольку сумма y_i нам дана и она равна двумстам,
мы получаем конкретное значение оценки: λ с крышкой равняется 100/200,
равняется 1/2.
Boris DemeshevSenior Lecturer
