Matarialize中文社区-模型评估与调优

模型评估与调优

smartzeng 2024-08-30 13:50:03

249 模型评估专栏

模型评估与调优是机器学习流程中确保模型性能的重要环节。这个过程涉及使用不同的度量指标评估模型的性能，并通过调整模型参数或选择不同的模型来优化其表现。

1. 模型评估

模型评估的目的是衡量模型的性能，通常使用测试集上的性能指标来评估模型的泛化能力。

常见的评估指标

分类任务：
- 准确率（Accuracy）：正确预测的样本数量占总样本数量的比例。
- 精确率（Precision）：正确预测为正类的样本数量占预测为正类的样本数量的比例。
- 召回率（Recall）：正确预测为正类的样本数量占实际为正类的样本数量的比例。
- F1-Score：精确率和召回率的调和平均值，平衡精确率和召回率。
- AUC-ROC 曲线：衡量模型在所有分类阈值上的性能，曲线下的面积越大，模型性能越好。
回归任务：
- 均方误差（MSE）：预测值与真实值之差的平方的平均值。
- 均方根误差（RMSE）：MSE 的平方根，提供预测误差的标准差。
- 平均绝对误差（MAE）：预测值与真实值之差的绝对值的平均值。
- R² 决定系数：衡量模型解释数据方差的能力，值在 0 到 1 之间，越接近 1 表示模型越好。

使用 Scikit-learn 进行评估

Scikit-learn 提供了一些用于评估模型的函数。以下是一个评估分类模型的示例：

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, confusion_matrix
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建随机森林分类器模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)

# 计算评估指标
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='weighted')
recall = recall_score(y_test, y_pred, average='weighted')
f1 = f1_score(y_test, y_pred, average='weighted')
roc_auc = roc_auc_score(y_test, model.predict_proba(X_test), multi_class='ovr')

print(f"Accuracy: {accuracy:.2f}")
print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1-Score: {f1:.2f}")
print(f"ROC AUC: {roc_auc:.2f}")

2. 模型调优

模型调优旨在通过优化模型的参数和超参数来提高其性能。常见的调优方法有：

超参数调优

超参数是指在训练过程中不会更新的参数，需要手动设定，比如决策树的最大深度、随机森林的树数量、神经网络的学习率等。

网格搜索（Grid Search）：尝试不同的参数组合，找到性能最好的模型。适用于参数数量较少的情况。

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

# 定义超参数范围
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10]
}

# 使用网格搜索和交叉验证
grid_search = GridSearchCV(RandomForestClassifier(random_state=42), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

print(f"Best parameters: {grid_search.best_params_}")
print(f"Best cross-validation score: {grid_search.best_score_:.2f}")

随机搜索（Random Search）：随机选择参数组合，在大参数空间中更加高效，适用于参数空间较大的情况。

from sklearn.model_selection import RandomizedSearchCV

# 定义超参数范围
param_dist = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10]
}

# 使用随机搜索和交叉验证
random_search = RandomizedSearchCV(RandomForestClassifier(random_state=42), param_distributions=param_dist, cv=5, scoring='accuracy', n_iter=10, random_state=42)
random_search.fit(X_train, y_train)

print(f"Best parameters: {random_search.best_params_}")
print(f"Best cross-validation score: {random_search.best_score_:.2f}")

交叉验证

交叉验证是一种评估模型性能的方法，通过将数据集分为 K 个折叠（fold），每次使用一个折叠作为验证集，其余的作为训练集，重复 K 次，计算平均性能。

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

# 使用交叉验证评估模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')

print(f"Cross-validation accuracy scores: {scores}")
print(f"Mean accuracy: {scores.mean():.2f}")
print(f"Standard deviation: {scores.std():.2f}")