Разработка на Python — удалённая работа в Москве

Data Science. Разработка с нуля. Использование методов машинного обучения, изученных в этом курсе. Для диагностики рака молочной железы с использованием набора данных диагностики рака молочной железы штата Висконсин (Wisconsin Diagnostic Breast Cancer - WDBC). WDBC содержит 569 случаев данных о раке молочной железы, собранных профессорами Университета Висконсина. Каждый экземпляр помечен как M (злокачественный) или B (доброкачественный). Другими словами, необходимо решить задачу двоичной классификации. Характеристики вычисляются путем анализа оцифрованного изображения тонкоигольной аспирации (Fine Needle aspirate - FNA) образования молочной железы вместо использования пикселей в качестве необработанных входных данных. Они описывают характеристики ядер клеток, представленных на изображении. (см. примеры изображений ниже). В частности, входные данные включают десять вещественных признаков для каждого ядра клетки (всего три): а) Радиус (среднее расстояние от центра до точек периметра) б) Текстура (стандартное отклонение значений шкалы серого) в) Периметр г) Площадь д) Гладкость (локальное изменение длины радиусов) е) Компактность (периметр2/площадь -1,0 [perimeter2 / area -1.0]) ж) Вогнутость (выраженность вогнутых участков контура) з) Вогнутые точки (количество вогнутых участков контура) и) Симметрия j) Фрактальная размерность («приблизительно береговая линия»-1 [“coastline approximate”-1]) Всего для диагностики доступно 30 признаков (размерность признаков 30). Для точности все характеристики записываются с использованием четырех цифр. Задача 1. Вы можете найти файл набора данных WDBC (wdbc.data). Файл данных устроен таким образом, что каждая строка представляет экземпляр данных. В каждой строке значения атрибутов разделены запятой (,), всего имеется 32 атрибута. Первый атрибут — это идентификатор пациента. Второй атрибут — это метка класса (M или B). Остальные атрибуты являются входными объектами. Сделайте следующее: 1. Загрузите данные из файла в матрицу данных для последующих задач. Обратите внимание, что вам нужно прочитать второй атрибут отдельно как метку класса и игнорировать первый атрибут. Затем вам нужно прочитать остальные атрибуты как функции. 2. Разделите порции данных: а) выберите 169 выборок в качестве данных тестирования и б) 400 выборок для обучения. 3. Примените PCA, чтобы уменьшить исходные входные объекты в новые векторы объектов с разными размерностями: 5, 10, 15, 20. Задача 2. Спроектировать и внедрить систему диагностики рака молочной железы с использованием KNN с уменьшением размерности. Сделайте следующее 1. Используйте обучающие данные для проверки ваших KNN с различными векторами входных признаков (исходный входной сигнал и уменьшенный входной сигнал, рассчитанный в задаче 1) и разными K=1, 3, 5, 7, 9. Вы можете использовать параметры по умолчанию для вашего KNN в соответствии с библиотекой, которую ты используешь. 2. Использование тестовых данных для расчета точности, полноты и значений f1 (accuracy, precision, recall, and f1 values) для каждой модели и построения графика или рисунков, показывающих результаты различных размеров функций и Ks. Задача 3. Разработать и внедрить систему диагностики рака молочной железы с использованием MLP. Сделайте следующее: 1. Используйте данные обучения для проведения 5-кратной перекрестной проверки для обучения и проверки ваших моделей (5-fold cross validation to train and validate your models.). В качестве входных функций используйте тот, который дает наилучшую производительность в задаче 2. Вам необходимо протестировать различные гиперпараметры, такие как количество скрытых слоев, количество скрытых узлов, скорость обучения и т. д. 2. Используйте тестовые данные, чтобы вычислить точность, точность, полноту и f1 для ваших моделей с различными гиперпараметрами на шаге 1. Задача 4. Основываясь на своем опыте выполнения задачи 2 и задачи 3, а также полученных в результате результатов, своими словами сравните и сопоставьте производительность (частоту ошибок, точность и полноту, f1), вычислительную сложность (время), уровень переобучения два подхода. Чтобы оценить уровень переобучения, вы можете сравнить производительность данной модели на обучающих данных с тестовыми данными и увидеть, насколько они различаются. Укажите, какой из них, по вашему мнению, будет лучшим подходом к этой проблеме, и объясните, почему. Формат вводных данных прикреплен ниже. Стоимость обсуждается.