【IT168 评论】自吴恩达从百度离职之日起,他的去向就一直备受关注。近日,有消息传出,吴恩达妇唱夫随加入了其妻子所在的初创公司Drive.ai。同时,随着他的加入,该公司还获得了5000万美元的B轮融资。
▲图源网络,侵权可删!
作为百度前首席科学家,吴恩达加入该公司显然很合适。据悉,该公司主要专注于无人驾驶软件技术的研究,主要是运用深度学习技术,这与吴恩达的研究方向相符。现在,很多科技圈的大佬都瞄准了深度学习,都认为其在未来会给人类的生活带来很大价值。所以,入深度学习这一行应该注意哪些问题?
1、深度学习没有想象中那么难!
深度学习确实涵盖了非常大的领域,并且非常复杂。不同于其他技术,深度学习似乎并没有特定的应用场景,这让很多初学者抓狂。深度学习其实就是模仿了人脑的神经网络的学习过程。
一个只有几个月的孩子可以通过查看图书或者模仿成年人的行为和语言来学习识别事物,随着时间的推移,他就会明白男人通常是短发,女人的面部特征更加细腻等等。
最终,当他成长为成年人时,他会通过童年和生活中经历的训练过程来理解事物。深度学习确实需要数学基础,但并不是那么难。如果你学习过高等数学中的导数、偏导数和函数的相关概念,你就可以很好地开启深度学习之旅了。
当然,这之中还涉及到一个可视化的过程,通过广泛的样本集合让机器认清酒杯和眼镜片之间的区别,拉布拉多和金毛之间的区别等。
在开始阶段,这一点非常重要,因为每个样本都会对训练结果产生深远的影响。
2、尽可能使用现有的框架
现在,已经有了尽可能多的开源和商用框架可以选择了,并且有广泛的平台和基础设施用于训练模型,文档也很全面。另外要注意,学术界和行业内都在使用相同的工具,选择学术界的工具可能比较容易开始。
3、GPU要优于CPU
训练深度学习模型需要许多硬件资源,包括严格的处理能力来执行重复迭代,以根据其工作原理更新模型。虽说过程中进行的数学计算难度不大,但要同时进行大量此类计算,难度瞬间就增加了数倍。
CPU和GPU的区别主要就在于处理器的数量和强度。CPU通常有几个(最好的有几十个)强大的处理器,GPU则有成千上万个相对较弱的处理器,GPU上需要五天完成的,CPU上可能需要几个月,所以一般都建议选择GPU。
科技公司在这件事上也没闲着,谷歌对其TensorFlow提供强大的硬件支持,阿里云发布最新一代异构计算通用GPU实例GN5规格族,就是一款用于搭建深度学习加速平台的云端利器......
但是,GPU很贵,具有数千个处理单元的GPU可能要为显卡花费数千美元,很可能还要用专门的服务器,这又涉及额外的支出了。
4、使用现有的模型
深度学习领域有一个很有趣的问题:能否用某种模式来训练另一个模型?答案是:视情况而定。
在某些情况下,专门从事特定领域的模型可以适应理解不同的领域。领域越相近,训练模型越容易理解另一个领域。例如,专门从事人脸识别的模型可能也适用于其他识别领域,这被称为转移学习。就好像人脑中,彼此邻近的区域可以理解类似的视觉内容一样。
转移学习非常重要和有趣,因为它可以帮助减少需要的样本数量。
5、最大的挑战就是准备训练集
培训模型中最具挑战性的部分就是收集大量数据,以便教授模型如何理解一张图片。例如,我们想让机器知道什么是猫,首先我们就要把猫的行为特征想办法告诉机器,我们必须尽可能多地收集与猫相关的照片,过滤掉不清晰或模糊的照片。
要知道,数据质量越好,最终训练的结果肯定更优。