В непрерывном случае, когда переменные
y_1 и y_2 будут непрерывны, то есть принимают любые значения из интервала,
вместо вероятности имеющейся выборки мы будем использовать плотность вероятности.
Как правило, наблюдения предполагаются независимыми,
то есть совместная функция плотности f от y_1, y_2,...,
yn и заданного параметра θ разлагается в произведение плотностей
f от y_1 помножить на f от y_2 помножить и так далее, на f от y_n.
И поскольку нам надо будет эту функцию максимизировать, то есть надо будет искать
её производную, а производную от произведения искать сложно.
Гораздо легче искать производную от суммы.
Поэтому мы будем всегда использовать стандартный трюк с логарифмированием:
мы предварительно будем логарифмировать функцию плотности.
Она будет, логарифм будет превращать произведение в сумму, и, таким образом,
мы будем максимизировать сумму логарифмов f от y_i.
Рассмотрим ещё один пример.
На этот раз с непрерывными y.
У нас есть 100 наблюдений.
Пусть это какая-то длительность, допустим, сколько прошло от
первого телефонного звонка до второго часов, от второго до третьего и так далее.
У нас есть 100 наблюдений: y_1, y_2 и так далее, y_100.
Я не буду, естественно, записывать каждое из ста наблюдений, просто сообщу,
что известно, что сумма y_i равна двумстам.
Мы предполагаем некую модель для наблюдений.
Как правило,
для длительностей предполагают экспоненциальное распределение.
Здесь мы поступим точно так же, то есть скажем, что функция плотности y равна λ –
неизвестный параметр, помножить на e в степени минус λy.
И наша задача — найти оценку λ с крышкой.
Итак, у нас есть снова наблюдения: y_1 = 1.1,
y_2 = 2.7 и так
далее, y_100 = 1.5.
Всего у нас 100 наблюдений за некоторой случайной величиной.
И нам известно, что сумма всех y_i равна двумстам по i от 1 до 100.
Помимо данных у нас, как всегда, имеется модель.
Наша модель состоит в том, что y_i наблюдения отдельны, независимы.
И на этот раз
y_i непрерывны с функцией плотности, задаваемой следующим соотношением:
λ умножить на e в степени минус λy при y
больше либо равных 0, и 0 при y меньше 0.
Такой закон распределения называется экспоненциальным,
и наша задача — найти по имеющимся наблюдениям и данной модели
оценку λ с крышкой метода максимального правдоподобия.
В отличие от дискретного случая мы выпишем не
вероятность получить наши данные, а плотность вероятности.
Итак, f(y_1,y_2,..., y_100),
совместная функция плотности, равняется.
По предположению независимости мы можем разбить эту функцию:
произведение отдельных плотностей.
Boris DemeshevSenior Lecturer
