Системное программирование — удалённая работа в Москве

Тестирование, разработка с нуля. Т/З 1. Запарсить заголовки статей про российскую экономику с новостных ресурсов или их разделов, связанных с российской экономикой по 1.09.2024 2. Провести предобработку: 1) Выделение подходящих тегов. Необходимо, чтобы все тексты относились к России, поэтому статьи отбираются по релевантным тегам (если не отобрано заранее) 2) Токенизация текста. Каждый текст разделяется на отдельные слова-компоненты. На этом этапе также удаляются знаки пунктуации и все слова приводятся к нижнему регистру. 3) Удаление стоп-слов. На текущий момент удаляются самые часто используемые слова, междометья и союзы для этого используется готовый список стоп-слов, предоставляемых библиотекой для Python - nltk. 4) Стемминг. Данный процесс приводит все слова к их основе. Это необходимо для упро- щения поиска конкретных слов и словосочетаний в тексте Например, слова ’инфляция’ и ’инфляции’ будут иметь вид ’инфляц’. На данный момент используется Snowball stemmer также предоставляемый библиотекой nltk 3. Обучить нейросеть класса BERT, построить график обучения, график валидации 4. Построить индикатор (по 31.08.2023) Индикатор строится с помощью заранее обученной нейронной сети, которая семантически определяет подходит ли заголовок статьи к теме инфляции, индекса потребительских цен, потребительской корзине, росте/снижении цен и т.д. 5. Провести тесты на причинность по Грейнджеру: ИПЦ причина семантического индикатора и наоборот (данные с месячным ИПЦ с Росстата могу скинуть) 6. Спрогнозировать значения с 1.09.2023 по 1.09.2024, построить графики индикаторов и ИПЦ за соответствующий период с помощью методов машинного обучения с разными бенчмарками, например: — Прогнозирование с помощью среднего значения ряда. В качестве прогноза берётся среднее значение ряда за весь доступный период. – AR(1) – AR(p), где p выбирается с помощью оценки значимости коэффициентов перед лагами эндогенной переменной.