В этом руководстве мы рассмотрим продвинутый комплексный рабочий процесс в области науки о данных, в котором мы объединяем традиционное машинное обучение с возможностями Gemini.
Подготовка и моделирование набора данных по диабету
Мы начнём с подготовки и моделирования набора данных по диабету, затем углубимся в оценку, важность признаков и частичную зависимость. На этом пути мы будем использовать Gemini в качестве специалиста по данным, чтобы объяснять результаты, отвечать на исследовательские вопросы и выявлять риски.
Импорт библиотек и настройка Gemini:
«`python
!pip -qU google-generativeai scikit-learn matplotlib pandas numpy
from getpass import getpass
import os, json, numpy as np, pandas as pd, matplotlib.pyplot as plt
if not os.environ.get(«GOOGLEAPIKEY»):
os.environ[«GOOGLEAPIKEY»] = getpass(» Введите ваш ключ API Gemini (скрыто): «)
import google.generativeai as genai
genai.configure(apikey=os.environ[«GOOGLEAPI_KEY»])
LLM = genai.GenerativeModel(«gemini-1.5-flash»)
«`
Загрузка и подготовка набора данных:
«`python
from sklearn.datasets import load_diabetes
raw = loaddiabetes(asframe=True)
df = raw.frame.rename(columns={«target»:»disease_progression»})
print(«Shape:», df.shape); display(df.head())
«`
Создание модели:
«`python
from sklearn.modelselection import traintestsplit, KFold, crossval_score
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, QuantileTransformer
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.pipeline import Pipeline
X = df.drop(columns=[«diseaseprogression»]); y = df[«diseaseprogression»]
num_cols = X.columns.tolist()
pre = ColumnTransformer(
[(«scale», StandardScaler(), num_cols),
(«rank», QuantileTransformer(nquantiles=min(200, len(X)), outputdistribution=»normal»), num_cols)],
remainder=»drop», verbosefeaturenames_out=False)
model = HistGradientBoostingRegressor(maxdepth=3, learningrate=0.07,
l2regularization=0.0, maxiter=500,
earlystopping=True, validationfraction=0.15)
pipe = Pipeline([(«prep», pre), («hgbt», model)])
«`
Оценка модели:
«`python
Xtr, Xte, ytr, yte = traintestsplit(X, y, testsize=0.20, randomstate=42)
cv = KFold(nsplits=5, shuffle=True, randomstate=42)
cvmse = -crossvalscore(pipe, Xtr, ytr, scoring=»negmeansquarederror», cv=cv).mean()
cvrmse = float(cvmse 0.5)
pipe.fit(Xtr, ytr)
«`
Взаимодействие с Gemini для интерпретации результатов
Мы используем Gemini для объяснения результатов, ответа на исследовательские вопросы и выявления рисков. Это помогает нам интерпретировать поведение модели более чётко.
Оценка модели и визуализация остатков:
«`python
predtr = pipe.predict(Xtr); predte = pipe.predict(Xte)
rmsetr = meansquarederror(ytr, predtr) 0.5
rmsete = meansquarederror(yte, predte) 0.5
maete = meanabsoluteerror(yte, predte)
r2te = r2score(yte, pred_te)
print(f»CV RMSE={cvrmse:.2f} | Train RMSE={rmsetr:.2f} | Test RMSE={rmsete:.2f} | Test MAE={maete:.2f} | R²={r2_te:.3f}»)
«`
Визуализация остатков:
«`python
plt.figure(figsize=(5,4))
plt.scatter(predte, yte — predte, s=12)
plt.axhline(0, lw=1); plt.xlabel(«Predicted»); plt.ylabel(«Residual»); plt.title(«Residuals (Test)»)
plt.show()
«`
Выводы
Мы видим, как плавно мы можем объединить конвейеры машинного обучения с рассуждениями Gemini, чтобы сделать науку о данных более интерактивной и информативной. Мы тренируем, оцениваем и интерпретируем модель, затем просим Gemini обобщить результаты, предложить улучшения и провести критический анализ рисков.
Этот рабочий процесс позволяет нам достичь как прогнозирующей производительности, так и интерпретируемости, одновременно получая выгоду от сотрудничества с ИИ в процессе анализа данных.
1. Какие инструменты и библиотеки используются для создания комплексного рабочего процесса в области науки о данных с машинным обучением и интерпретируемостью?
В статье используются следующие инструменты и библиотеки:
* Google Generative AI (Gemini);
* scikit-learn;
* matplotlib;
* pandas;
* numpy;
* StandardScaler;
* QuantileTransformer;
* HistGradientBoostingRegressor;
* Pipeline;
* ColumnTransformer.
2. Как в статье предлагается использовать Gemini для интерпретации результатов моделирования?
В статье предлагается использовать Gemini для объяснения результатов, ответа на исследовательские вопросы и выявления рисков. Это помогает интерпретировать поведение модели более чётко.
3. Какие метрики используются для оценки модели в статье?
Для оценки модели в статье используются следующие метрики:
* RMSE (Root Mean Squared Error);
* MAE (Mean Absolute Error);
* R² (коэффициент детерминации).
4. Какие шаги включает в себя подготовка и моделирование набора данных по диабету в статье?
Подготовка и моделирование набора данных по диабету включают в себя следующие шаги:
* импорт библиотек и настройка Gemini;
* загрузка и подготовка набора данных;
* создание модели;
* оценка модели;
* визуализация остатков.
5. Какие преимущества даёт использование комплексного рабочего процесса с машинным обучением и интерпретируемостью в науке о данных?
Использование комплексного рабочего процесса с машинным обучением и интерпретируемостью в науке о данных позволяет достичь как прогнозирующей производительности, так и интерпретируемости, одновременно получая выгоду от сотрудничества с ИИ в процессе анализа данных.