Data scientist — удалённая работа в Москве

Предобработка и анализ датасета. Во вложении загруженный датасет. Что нужно: Шаг 1. Откройте файл с данными и изучите общую информацию Путь к файлу: /datasets/real_estate_data.csv Загрузите данные из csv-файла в датафрейм c помощью библиотеки pandas. Изучите общую информацию о полученном датафрейме. Постройте гистограмму для всех числовых столбцов таблицы на одном графике. Шаг 2. Предобработка данных Найдите и изучите пропущенные значения в столбцах: Определите, в каких столбцах есть пропуски. Заполните пропущенные значения там, где это возможно. Например, если продавец не указал число балконов, то, скорее всего, в его квартире их нет. Такие пропуски можно заменить на число 0. Если логичную замену предложить невозможно, то оставьте пропуски. Пропущенные значения — тоже важный сигнал, который нужно учитывать. В ячейке с типом markdown укажите причины, которые могли привести к пропускам в данных. Рассмотрите типы данных в каждом столбце: Найдите столбцы, в которых нужно изменить тип данных. Преобразуйте тип данных в выбранных столбцах. В ячейке с типом markdown поясните, почему нужно изменить тип данных. Изучите уникальные значения в столбце с названиями и устраните неявные дубликаты. Например, «поселок Рябово» и «поселок городского типа Рябово», «поселок Тельмана» и «посёлок Тельмана» — это обозначения одних и тех же населённых пунктов. Вы можете заменить названия в существующем столбце или создать новый с названиями без дубликатов. Шаг 3. Добавьте в таблицу новые столбцы со следующими параметрами: цена одного квадратного метра (нужно поделить стоимость объекта на его общую площадь, а затем округлить до двух знаков после запятой); день недели публикации объявления (0 — понедельник, 1 — вторник и так далее); месяц публикации объявления; год публикации объявления; тип этажа квартиры (значения — «?первый», «последний», «другой»); расстояние до центра города в километрах (переведите из м в км и округлите до ближайших целых значений). Шаг 4. Проведите исследовательский анализ данных: Изучите перечисленные ниже параметры объектов и постройте отдельные гистограммы для каждого из этих параметров. В некоторых параметрах встречаются редкие и выбивающиеся значения. При построении гистограмм удалите их. Например, в столбце ceiling_height может быть указана высота потолков 25 м и 32 м. Логично предположить, что на самом деле это вещественные значения: 2.5 м и 3.2 м. Попробуйте обработать аномалии в этом и других столбцах, если они есть. Если природа аномалии понятна и данные действительно искажены, то восстановите корректное значение. В противном случае удалите редкие и выбивающиеся значения. Список параметров: общая площадь; жилая площадь; площадь кухни; цена объекта; количество комнат; высота потолков; тип этажа квартиры («первый», «последний», «другой»); общее количество этажей в доме; расстояние до центра города в метрах; расстояние до ближайшего парка Опишите все ваши наблюдения по параметрам в ячейке с типом markdown. Изучите, как быстро продавались квартиры (столбец days_exposition). Этот параметр показывает, сколько дней было размещено каждое объявление. Постройте гистограмму. Посчитайте среднее и медиану. В ячейке типа markdown опишите, сколько времени обычно занимает продажа. Какие продажи можно считать быстрыми, а какие — необычно долгими? Какие факторы больше всего влияют на общую (полную) стоимость объекта? Изучите, зависит ли цена от: общей площади; жилой площади; площади кухни; количества комнат; этажа, на котором расположена квартира (первый, последний, другой); даты размещения (день недели, месяц, год). Постройте графики, которые покажут зависимость цены от указанных выше параметров. Для подготовки данных перед визуализацией вы можете использовать сводные таблицы. Посчитайте среднюю цену одного квадратного метра в 10 населённых пунктах с наибольшим числом объявлений — постройте сводную таблицу с количеством объявлений и средней ценой квадратного метра для этих населенных пунктов. Выделите населённые пункты с самой высокой и низкой стоимостью квадратного метра. Ранее вы посчитали расстояние до центра в километрах. Теперь выделите квартиры в Санкт-Петербурге с помощью столбца locality_name и вычислите их среднюю стоимость на разном удалении от центра. Учитывайте каждый километр расстояния: узнайте среднюю цену квартир в одном километре от центра, в двух и так далее. Опишите, как стоимость объектов зависит от расстояния до центра города — постройте график изменения средней цены для каждого километра от центра Петербурга. Шаг 5. Напишите общий вывод Опишите полученные результаты и зафиксируйте итоговый вывод проведённого исследования.