前言
最近AutoML比较火，这里对AutoML做个简单介绍。
技术挑战
- 超参结构复杂：参数的搜索空间非常大，参数结构非常复杂，有连续特征、有离散特征、参数和参数之间还有结构关系
- 目标函数不可导：存在大量没有梯度的变量，给优化带来很大的困难
- 评估代价巨大：每次训练评估时间漫长，评估多个参数组合，所需要的时间代价巨大
解决方法
基于搜索的方法
可以在前面搜索的基础上进行搜索。
AI训练AI
对训练过程建模。
ML进化史
- 第一代：学习分类器
- 第二代：学习特征
- 第三代：学习如何学习
- 第四代：学习学习什么