1 训练集测试集的划分以及模型评估

训练集和测试集的划分有以下两种方式。

1.1 测试集是训练集的一部分

Train and Test on the Same Dataset
测试集来自训练集中。测试集是训练集中的一部分。具有高的训练准确率，很低的out-of-sample准确率。
What is training & out-of-sample accuracy?

• Training Accuracy
  • 训练时候的高准确率不是一个好的事情
  • 结果的过拟合（过拟合就是模型过度训练，提取了太多了噪声并产生了一个模糊的模型）
• Out-of-Sample accuracy超过样本准确率
  • 我们的模型必须要有高的out-of-Sample准确率
  • 如何提高out-of-accuracy

1.2 训练集和测试集不相交

Train/Test Split
训练集和测试集是不一样的数据。数据是互斥的，有更高的out-of-sample准确率。
问：How to use K-fold cross-validation ?
答：利用K折交叉验证

把数据集分为四部分，每个部分分别取训练得到准确率，然后取四个准确率的平均值。

2 评估指标

2.1 回归准确率linear accuracy

2.2 模型错误指标

以下6个指标的选择，根据你的模型类型、数据类型、知识领域去决定使用哪个。
Error:measure of how far the data is from the fitted regression line.

平均误差绝对值

均方误差

均方根误差

相对绝对误差

相对均方误差

R均方误差

3 复合回归模型

3.1 复合回归模型的例子

（1）自变量（Independent variables）对预测的有效性
比如：复习时间、测试紧张程度、出席率、性别对学生考试成绩的影响
（2）预测变化的影响
病人的BMI每增加一个单位，血压会增加会减小多少

3.2 复合回归预测连续值

举例 比如发动机大小与气缸的数量约Co2的排放量的关系。

（1）第一步 使用MSE均方误差去评价模型的错误

（2）第二步 估计复合线性回归的参数
方法一
最小二乘法（takes a long tim for large datasets(10K+ rows)）
方法二
最优化算法：梯度下降（适合大数据）
（3）第三步：预测结果

3.3 问答

（1）How to determine whether to use simple or multipl linear regression?
一个自变量还是多个自变量。一个自变量选择简单回归，反之。
（2）How many independent variables should you use?
过多的自变量没有理论依据容易导致过拟合模型。尽量避免多个自变量去预测，有很多模型可以去避免，但不在这里展开。
（3）Should the indepent variable be continuous？
不一定，比如电动车可以表示为0，其他汽车表示为1。连续的变量都可表示我离散的数值。
（4）What are the linear relationships between the dependent variable and the independent variable?
有很多办法，比如画出scatter plot，查看他们的线性关系。如果是非线性关系，用非线性回归模型。