И соответственно, мы видим, что при переходе к логарифмам, ну,
во-первых, логарифмы, если раньше сама масса менялась
от нуля до пяти карат, то соответственно, мы видим,
что логарифм массы он уже меняется где-то вот от минус полутора до полутора,
но зависимость стала более похожа на линию.
И соответственно, такое преобразование позволяет нашей модели
линейной быть более адекватной данным.
Давайте посмотрим некоторые усовершенствования к нашему графику.
Здесь к сожалению на графике сплошная чернота из-за того,
что 54 000 точек, то на нашем графике собственно, не совсем понятно,
каких больше бриллиантов вот таких вот, которые здесь лежат или вот здесь вот.
И существует такая стандартная техника, когда наблюдений слишком много,
это конечно, очень хорошая ситуация, но тем не менее, чтобы визуализировать ее,
возникает некоторая дополнительная трудность.
Давайте наш график, наш базовый график назовем буковками bg вот сделаем
такое присвоение bg — это просто наш базовый график.
А теперь к нашему базовому графику чуть-чуть изменим его тип.
Скажем, что это будет график шестиугольники.
То есть у нас плоскость будет замощена шестиугольниками.
Выбираем geom_hex, нажимаем тут Tab, беру в скобочки и строю немножко измененный
график, который нам позволит увидеть черную кошку в черной комнате.
Соответственно, вот если посмотреть на предыдущий график,
то тут все черным черно.
Это черная комната, а сейчас мы в ней увидим черных кошек.
Да, соответственно на этом графике мы видим,
что уже не все черным черно, а есть вертикальные светлые полосочки.
Иногда попадаются темные места, а иногда светлые.
Это означает, что есть стандартная форма огранки.
То есть на этом графике можно сделать вывод,
что будет стандартная форма огранки, вот вертикальная черта соответствует какой-то
стандартной массе, а между ними бриллианты тоже попадаются, но их гораздо меньше,
тут темные шестиугольники.
Поэтому этот график позволяет нам увидеть черных кошек в черной комнате.
Давайте проиллюстрируем,
еще приведем одну иллюстрацию полезности от перехода к логарифмам.
Загрузим данные по стоимости квартир в Москве.
Это уже набор данных не встроенной ver,
мы его уже загружали в прошлом практикуме, соответственно,
мы используем команду read.csv, указываем имя файла.
Здесь надо сказать R из какой папки брать файлы.
Мы заходим в session и указываем Set Working Directory —
To Source file Location то есть это означает, что по умолчанию,
R будет искать файлы в той папке, в которой находится наш script.
И мы в ней выбираем наш файл, вот flats_moscow.txt.
Я на всякий случай напомню, что там есть разделители, это знаки табуляции.
Разделители — это знаки табуляции.
Заголовок — первая строчка, отвечает за имена переменных.
Он есть.
И разделитель десятичных разрядов — точка.
Соответственно, если ваш файл имеет другой формат, то вам надо выбрать
разделитель данных указать, если заголовок и десятичный разделитель указать.
Мы загрузили набор данных f, можем посмотреть на наш набор данных f.
Тут у нас есть несколько переменных, описание, оно
приложено в файле flats_moscow_description и соответственно, вы можете посмотреть.
Ну, основные переменные: price — это цена квартиры в тысячах долларах.
Это данные нескольколетней давности, totspan — это общая площадь квартиры,
livespan — жилая, kitspan — площадь кухни ну, и так далее.
Соответственно, давайте построим график,
возьмем значит данные из набора данных f на этот раз и построим по
горизонтали жилую площадь, а по вертикали отложим цену квартиры.
Сначала без логарифмов.
Посмотрим, как выглядит график без логарифмов.
Здесь 2 000 наблюдений.
Можно посмотреть структуру таблички f тут будет написано,
что у нас 2 040 наблюдений по 11 переменным.
Соответственно, мы видим,
что тут зависимость как-то тоже непохожа на прямую.
Однако, давайте попробуем перейти к логарифмам.
И построим тот же самый график.
Данные берем из набора данных f.
По горизонтали отложим логарифм общей площади квартиры,
а по вертикали отложим логарифм цены.
И вот мы видим, что уже данные превратились в такое вытянутое облачко,
которое более-менее уже похоже на рассеяние точек вдоль прямой.
То есть при переходе к логарифмам мы получим более адекватную модель.
Ну, тут следует сказать, что зачастую бывают наборы данных,
где много качественных переменных, например, в наборе данных по квартирам,
качественными переменными являются walk — находится ли квартира в пешей доступности
от метро — единичкой, если да, ноль, если нет, brick кирпичный или не кирпичный дом.
Один, если кирпичный.
И еще третья переменная это является ли квартира квартирой на крайних этажах,
то есть на первом или на последнем.
Соответственно, как визуализировать много качественных переменных.
Для этого есть очень удачный пакет vcd и в нем живет функция,
которая называется mosaic.
Она представляет собой мозаичный график.
Давайте возьмем данные из набора данных по квартирам и построим мозаичный график,
где сначала поделим все квартиры по тому,
находятся ли они в пешей доступности от метро или нет.
Потом поделим по тому критерию, является ли этот дом кирпичным или нет.
И потом поделим по критерию, является ли квартира на первом этаже или нет.
И давайте еще укажем, что нам нужна закраска,
потом мы скажем, что она означает.
Мы получим вот такой интересный, необычный график.
Давайте его проинтерпретируем,
потому что очень часто попадаются наборы данных, где много качественных переменных.
Значит, сначала мы поделили все квартиры на квартиры в пешей доступности от метро.
Ну, это как указано в объявлении.
А что там на самом деле, конечно, не знаем.
И мы видим, что квартира в пешей доступности от метро,
длина вот этого отрезка, больше, чем квартир далеко от метро.
Дальше квартиры каждого типа и те, и те, в свою очередь делятся на квартиры
в кирпичных домах, вернее не в кирпичных brick равно 0, и квартиры в кирпичных.
И здесь мы видим очень интересный факт, что среди тех квартир,
которые в пешей доступности от метро, доля кирпичных домов выше,
чем в тех квартирах, которые не в пешей доступности от метро.
Вот здесь, когда walk равно 0, то пропорция единичек brick к нулям,
brick, она меньше, чем пропорции единичек кирпичных к нулям,
кирпичных для случая домов в пешей доступности от метро.
А дальше уже все делится по принципу на первом этаже квартира или не на первом.
И здесь мы видим, что вот эти два фактора walk и brick,
они более-менее связаны с тем, на каком этаже находится квартира.
Пропорции примерно постоянные между теми квартирами,
которые не на первом этаже и теми квартирами, которые на первом этаже.
То есть на графике, что обозначает площадь?
Она пропорциональна соответственно, количеству наблюдений,
которые попадают в эту категорию.
А что означают цвета?
Компьютер автоматом проверяет гипотезу о независимости признаков и соответственно,
если бы мы представили,
что на самом деле все три признака независимы (в пешей доступности от метро,
кирпичность дома и floor), тогда бы все прямоугольнички были серыми.
А наличие синеньких прямоугольничков говорит, что по сравнению с ситуацией
независимости наблюдений, в эту группу попадает слишком много наблюдений,
но а красные соответственно, что слишком мало.
Соответственно, мы загрузили,
посмотрели пользу от перехода к логарифмам и проиллюстрировали.
как работать с большим количеством,
как визуализировать большое количество качественных переменных
