尽管交叉验证结果非常成功,但与随机林过度拟合

我在数据科学方面有一定的经验。我有一个包含9500个观察值和4500多个特征的数据集,其中大多数特征高度相关。以下是我所做的简单尝试:我删除了非NAs少于6000个的列,并在至少有6000个非NAs的情况下用相应列的中值插补NAs。至于相关性,我只保留了与其他特征最多0.7相关性的特征。通过这样做,我将功能的数量减少到了750个左右。然后,我在随机森林的二元分类任务中使用了这些特征。

我的数据集高度不平衡,其中(0:1)的比率为(10:1)。因此,当我应用10倍cv的RF时,我在每个cv中观察到了太好的结果(AUC为99%),这很好,很可能是真的,在我的测试集中,我得到了更差的结果,例如0.7。这是我的代码:

import h2o
from h2o.estimators import H2ORandomForestEstimator

h2o.init(port=23, nthreads=4)

train = fs_rf[fs_rf['Year'] <= '201705']
test = fs_rf[fs_rf['Year'] > '201705']
train = train.drop('Year',axis=1)
test = test.drop('Year',axis=1)
test.head()

train = h2o.H2OFrame(train)
train['BestWorst2'] = train['BestWorst2'].asfactor()

test = h2o.H2OFrame(test)
test['BestWorst2'] = test['BestWorst2'].asfactor()

training_columns = train.drop('BestWorst2',axis=1).col_names
response_column = 'BestWorst2'

model = H2ORandomForestEstimator(ntrees=100, max_depth=20, nfolds=10, balance_classes=True)

model.train(x=training_columns, y=response_column, training_frame=train)

performance = model.model_performance(test_data=test)

print(performance)

我怎样才能避免这种过度搭配呢?我在网格搜索中尝试了许多不同的参数,但都没有改善结果。