Руководство по программированию для создания и проверки сквозных разделённых конвейеров обработки данных в Dagster с интеграцией машинного обучения
В этом руководстве мы реализуем продвинутый конвейер обработки данных с помощью Dagster. Мы настроим специальный CSV-IOManager для сохранения ресурсов, определим разделённую ежедневную генерацию данных и обработаем синтетические данные о продажах с помощью очистки, разработки функций и обучения модели. Установка необходимых библиотек Мы начнём с установки необходимых библиотек: Dagster, Pandas и scikit-learn, чтобы иметь полный набор … Читать далее