AlexNet

AlexNet并不是卷积神经网络（CNN）第一次利用快速GPU实现而赢得图像识别竞赛。K. Chellapilla等人（2006）在GPU上的CNN比同等的CPU实现速度快4倍[6]。Dan Ciresan等人（2011）的深层CNN在IDSIA上已经快了60倍[7]，并在2011年8月取得了超过人类的表现[8]。从2011年5月15日到2012年9月10日，他们的CNN赢得了不少于四场图像竞赛[9][10]。他们还极大提高了文献中多个图像数据库的最佳性能[11]。

根据AlexNet的论文[5]，其与Ciresan的早期网络“有些相似”。两者最初都用CUDA编写，可在GPU支持下运行。实际上，两者都是杨立昆等人（1989）介绍的CNN设计的变体[12][13]，他将反向传播算法应用于福岛邦彦（）最初提出的CNN架构“neocognitron”的一个变种[14][15]。后来J. Weng提出的最大池化方法修改了该架构[16][10]。

AlexNet包含八层。前五层是卷积层，之后一些层是最大池化层，最后三层是全连接层[5]。它使用了非饱和的ReLU激活函数，显示出比tanh和sigmoid更好的训练性能[5]。

AlexNet被认为是计算机视觉领域最有影响力的论文之一，它刺激了更多使用卷积神经网络和GPU来加速深度学习的论文的出现[17]。截至2020年，AlexNet论文已被引用超过54,000次。

亚历克斯·克里泽夫斯基（出生于乌克兰，在加拿大长大）是一名计算机科学家，以在人工神经网络和深度学习方面的工作而著称。在通过AlexNet赢得ImageNet 2012挑战赛后不久，他和同事将他们的创业公司DNN研究公司（DNN Research Inc.）卖给了Google[1]。克里泽夫斯基对这项工作失去兴趣后，于2017年9月离开了Google[1]。在Dessa公司，克里泽夫斯基将为新的深度学习技术提供建议和帮助[1]。研究人员经常引用他的许多有关机器学习和计算机视觉的论文[18]。