训练数据常见问题
- 神经网络和其他人工智能程序需要一组初始数据,称为训练数据,作为进一步应用和使用的基础数据。这些数据是该程序不断增长的信息库的基础。
- 在训练集上对模型进行训练后,通常会在测试集上对其进行评估。通常,虽然应该对训练集进行标记或充实,以提高算法的置信度和准确性,但测试集都是从同一个数据集中提取的。
- 通常,训练数据要或多或少地随机分配,同时要确保捕获您预先知道的重要类别。例如,如果您要创建一个模型,它可以读取来自各种商店的收据图像,您会希望避免只使用某一家特许经营商的图像训练您的算法。这将使您的模型更加可靠,并有助于防止过度拟合。
- 关于需要多少训练数据的问题,实际上并没有严格的规定。毕竟,不同的用例需要不同数量的数据。如果需要模型非常可靠(如自动驾驶汽车),就需要大量数据,而基于文本的狭隘情绪模型需要的数据则要少得多。不过,一般而言,您需要的数据比您假设的要多。
- 大数据和训练数据不是一回事。Gartner称大数据具有“高容量、高速度和/或高多样性”等特点,通常需要以某种方式处理才会真正有用。如前面所述,训练数据是用于教授人工智能模型或机器学习算法的标记数据。