港科大褚晓文：医疗场景下的 AutoML ，模型参数量更小、分类准确率更高( 二 )

目前，深度学习在基于胸部影像的Covid-19辅助诊断中得到广泛应用，各种人工设计的深度学习模型在不同的Covid-19数据集上表现各异，缺乏一种通用的适用于不同数据集的神经网络结构，同一个模型在不同场景中的适用程度也不相同。
AutoML在Covid-19辅助诊断中的应用，旨在给定数据集上自动搜索一个高效的神经网络模型，可以大大减少繁复的人工设计和调优过程，将科学家们解放出来去做更有意义的事。
为了解决基于权重共享的网络搜索策略中的稳定性问题，褚晓文和研究团队提出一种有效的进化多目标结构搜索框架。此外，针对数据集匮乏的问题，他们还提出了一种集成自动数据增强和自动网络搜索的新框架，这一框架在三种公开Covid-19数据集上均取得了优异的性能。
为了进一步理解褚晓文教授在AutoML的研究工作， AI科技评论同他进行了一次深入对话。
对话褚晓文
AI科技评论：在Covid-19的辅助诊断中，您使用的是开源的点工具还是平台？目前预测效果如何，在哪一个任务的应用效果更好？
褚晓文：我们基于微软亚洲研究院开发的NNI（NeuralNetworkIntelligence）早期版本搭建了自己的分布式AutoML框架，重构了一些基础模块，使得各个模块复用性更好。后面一些研究工作也都是基于这套框架完成的。
目前，我们主要是在CT数据集上进行了图像分类的任务，实验结果显示，使用AutoML搜索到的深度学习模型不仅参数量更小，而且分类准确率也比流行的卷积神经网络更高。此前NVIDIA研究团队利用AutoML在医疗影像分割任务上也取得了很好的效果。
AI科技评论：Covid-19的特点是其快速传播能力，这也意味着使用AutoML研究的图像集也在不断扩大，训练数据集需要不断地扩充。对于这一点，您和团队是怎么解决的？如何提高模型的泛化能力？
褚晓文：AutoML可以看成是超参优化（HPO ， Hyper-paramteroptimization），神经架构搜索（NAS ， Neuralarchitecturesearch），数据增强（DA ， dataaugmentation）等方法的集成，但目前我们更多聚焦在NAS方面的研究，也即是使用NAS针对特定数据集或任务、去自动搜索模型的结构和超参数。
但医疗数据集比较特殊，涉及到隐私问题，所以前期数据集的大小和数量都不是很充足，并且还存在类别不均衡的问题。 Covid-19数据集规模扩大，反而能更好地帮助我们搜索更优的模型。目前，我们也在尝试将DA和NAS结合起来进行搜索，希望得到更好的模型泛化能力。
AI科技评论：针对数据的噪声和不一致性等难点，您和团队是怎么保证算法的准确性和高效性呢？
褚晓文：此前，我们的工作主要是基于Covid-193DCT数据集，其常见的数据噪声表现包括切片中不包含肺、切片顺序错误或者重复等。对于这些数据噪音，我们主要采用人工的方式来修正。自动化数据清理本身也是一个重要的研究课题，但关于这方面的研究我们还没有开展。
针对数据不均衡的情况，我们采用的是数据增强和调整采样频率的方式来解决。
而在数据不一致方面我们发现，数据集的质量对识别精度的影响甚至要高于模型本身的影响。通常要找一个人工设计的深度学习模型去适配所有数据集很难，因此我们觉得，利用AutoML技术针对某个特定的数据集，例如来自同一医院同样设备及同一地域病人群体的数据集，去搜索同数据集相对应的模型，会是AutoML一个很好的应用场景。
AI科技评论：目前在系统的部署环节上难度如何？考虑到更大规模和多个病人的诊断需求，您此前在分布式机器学习（联邦学习）上的研究有没有带来哪些灵感？