在机器学习中，使用 LabelEncoder() 或 OneHotEncoder() 取决于你处理的数据类型和所使用的模型。

LabelEncoder() 用于将分类变量（离散值）编码为连续整数，从 0 到 n_classes-1。这种编码方式适用于某些模型，如决策树、随机森林等基于树的模型。这些模型能够处理整数输入，并且可以从中提取分类变量之间的顺序关系。

OneHotEncoder() 则用于将分类变量转换为二进制向量，其中每个类别都表示为一个独立的特征。每个特征只能是 0 或 1，表示样本是否属于该类别。这种编码方式适用于某些模型，如线性回归、逻辑回归、支持向量机等需要连续数值输入的模型。它们无法处理整数输入，因此需要进行独热编码。

为了确定何时使用哪种编码方式，你可以考虑以下几点：

1. 数据类型：如果你的变量是名义变量（没有明确的顺序关系），则使用 OneHotEncoder() 更合适。如果变量具有顺序关系，可以考虑使用 LabelEncoder()。
2. 模型要求：了解所使用的模型对输入数据的要求。某些模型需要连续数值输入，而某些模型可以处理整数输入。根据模型的要求选择相应的编码方式。
3. 数据量和维度：如果你的数据量很大或者变量数目很多，使用 OneHotEncoder() 可能会导致维度爆炸（高维稀疏矩阵），增加模型的复杂性和计算成本。在这种情况下，可以考虑使用 LabelEncoder()。

关于你提到的 RandomForestRegressor 模型，通常它可以处理整数输入。因此，使用 LabelEncoder() 进行编码是合理的。如果你得到了高均方误差，可能是由于其他原因，比如特征选择、超参数调整、数据预处理等方面的问题。你可以尝试进行特征工程、调整模型参数、尝试其他模型等来改善模型的性能。

GridSearchCV 可以帮助你通过交叉验证来选择最佳的超参数组合，但它并不会解决数据编码方式选择的问题。确保你理解模型和数据的要求，并相应地选择适当的数据编码方式。