Multi-Task learning：多任务学习建模多个任务之间的关联关系，任务输入可以是不同的feature/sample，如BERT的MLM预训练任务与NSP任务，两个任务先后训练，输入是不同的feature和sample。
2018年google提出MMOE，将hard的参数共享变成多个expert，通过门控来控制不同loss对每个expert的影响，2019年google提出SNR，借助简单的 NAS（Neural Architecture Search），对 Sub-Network 进行组合，为不同目标学习各自的网络结构。
这个在我们自己的实验中也得到了验证，甚至会出现loss小的那个任务的权重是其他loss大的任务的权重的几十倍情况（如CTR、CVR、Pay目标建模的时候，Pay的loss量级最小，这个方法给了Pay目标非常大的权重，导致很快出现过拟合 ... 阅读全文
2018年google提出MMOE，将hard的参数共享变成多个expert，通过门控来控制不同loss对每个expert的影响，2019年google提出SNR，借助简单的 NAS（Neural Architecture Search），对 Sub-Network 进行组合，为不同目标学习各自的网络结构。
这个在我们自己的实验中也得到了验证，甚至会出现loss小的那个任务的权重是其他loss大的任务的权重的几十倍情况（如CTR、CVR、Pay目标建模的时候，Pay的loss量级最小，这个方法给了Pay目标非常大的权重，导致很快出现过拟合 ... 阅读全文