Всем привет! Меня зовут Алексей Бурнаков. Я Data Scientist в компании Align Technology. В этом материале я расскажу вам о подходах к feature selection, которые мы практикуем в ходе экспериментов по анализу данных. В нашей компании статистики и инженеры machine learning анализируют большие объемы клинической информации, связанные с лечением...
我画了一个R^2和胜诉百分比与所用组件数量的函数图。前端测试的最佳结果是使用41个组件（增益约70%，非常好）。但你无法从回测图表中看出这一点，它们只是一直在上升。如果我们依靠组件的重要性，我们应该采取73，这不是前沿测试的最佳结果。
fronttest的R^2可能是负的，即使有>50%的收益，由于所需的结果不平衡，"0 "和 "1 "的类数不同，所以它们的平均数不是0.5，R^2由此变得有点糟糕。
如果是这样的话，我把我的数据集（二元分类）附在后面。
有九个输入参数（在开头）--都是信息性的，还有一个输出参数（在最右边一栏）。
如果输出为1，那么下一个条形图的开盘价 差为正，如果为0，则为负。
大家感兴趣的问题是，哪一个会比我的算法有更好的概括能力？
由于是第一次，我把我的数据集附在后面。
有九个输入参数（在开头）--都是信息性的，还有一个输出参数（在最右边一栏）。
如果输出为1，那么下一个条形图的开盘价 差为正，如果为0，则为负。
我感兴趣的问题是，谁的概括能力比我的算法更好？
1.如何证明 "预测因子的信息性"？
2.什么是 "可推广性"？
1.如何证明 "预测器的信息性"？
2.什么是 "普适性"？
1.如果从样本中删除至少一个信息性预测因子，则普遍性会明显恶化
2.请看视频。
1.如果从样本中删除至少一个信息性预测因子，则普遍性会明显恶化
2.请看视频。
尤里，你好。我会试着翻看你的数据。
问候!
如果你对数据感兴趣，我可以布置一个脚本，从图表中收集信息并将其写入文件。
1.如果从样本中删除至少一个信息性预测因子，则普遍性会明显恶化
2.请看视频。
2.请看视频。
对不起，这只是一个没有受过教育的博士生的一贯胡言乱语，他还没有得到解释，除了他心爱的人之外，还有很多人不仅知道这一切，不仅取得了更大的进展，而且已经在数百万人使用的算法中实现了它（如果这里包括学生）。
1.如果你从样本中去掉至少一个有信息的预测因子，普遍性就会明显恶化
相信我，不幸的是，这证明不了什么。此外，如果预测器的集合是坏的（有很多噪音），那么这种影响会越大，噪音越大。这一点的解释很简单：噪音越多，算法就越容易找到一个 "方便 "的值。
关于一般的问题。
有相当多的算法可以确定预测器对特定目标变量的重要性。这些算法可以分为两组：内置在模型构建算法中的算法和自主存在的算法。在我看来，以及在我这里引用的分支和链接上的人看来，所有这些算法都有一个共同的缺陷：如果预测器中存在一定数量的噪声预测器，算法就会停止工作，而且开始丢弃与目标变量相关的预测器。
这就是为什么我们在这里的分支机构试图初步清理最初的预测器集，然后用标准方法处理其余的预测器。
关于你的文件。
1.我没能在你的数据上建立6个分类模型：误差超过50%。如果你愿意，我可以在这里发布结果
2.造成这种结果的原因是，你有一组非常差的预测因子--噪音，即与目标变量无关的预测因子。预测器6、7和8有一些预测能力，但非常小。我不与这样的预测者一起工作。其他的只是噪音。
PS。
如果你真的对这个问题感兴趣，请关心一下。一旦你掌握了它，你会教给视频中这个聪明的家伙。Caret有近200个模型+非常有用的预处理功能+两个非常好的预测器选择 算法。
PPSS。
曾经在一个论坛上发表了我对 "预测器与目标变量相关 "的看法
所以。
以目标变量为例：男性/女性。
预测因素：服装。
如果预测器（衣服）只包含裙子和裤子，那么对于一些国家的人口来说，这个预测器将与目标变量100%相关--互不相干。但衣服有不同的品种，而且种类更多。因此，不是100%，而是更少。也就是说，我们得到的是，一些衣服集可能与目标变量有关系，而另一些衣服集原则上可能根本没有关系。即噪音。因此，问题是如何找到这样的非噪声预测器，在一个窗口中是噪声，而在另一个窗口中不是。那么衡量这种 "嘈杂 "的标准是什么呢？
问候!
如果你对数据感兴趣，我可以发布一个脚本，从图表中收集信息并将其写入一个文件。
我也有一个问题。我应该在训练中建立一个预测器，在测试中测量误差吗？而且我们可以把它与你的结果进行比较，对吗？
同事们，如果你们有时间，能否在文章下向我提问？https://habrahabr.ru/company/aligntechnology/blog/303750/
哈布根本不说话!