品玩 April 06, 2022

在PC和移动互联网时代,人们习惯于用Windows、Linux、Android、iOS来形容某一核心软件、技术基石在产业生态中扮演的底层核心角色,也从那时起,无数钻研技术的研究人员、开拓本土市场份额的商界人士都致力于打造出能基础技术自立自强的自有生态软硬件。

而如今的人工智能时代,AI的底层核心技术生态的争夺似乎成为了一场没有硝烟的战争,我们无法从每天电脑显示的视窗和手机弹出的logo,来感受到人工智能时代的底层技术生态的争夺,但其重要程度已丝毫不亚于前者。

做AI时代的Android、iOS

人工智能在当今社会生活的重要性无需赘述,这波人工智能浪潮的“三驾马车”——深度学习算法、算力和大数据也早已成为科技圈中热词,但若要说到深度学习框架则会有不少人犯迷糊,深度学习框架仍是一个非常技术化的表述,而它正是包括“三驾马车”在内的整个技术体系核心。

如果说计算机编程的产品是“程序”,那么深度学习研究的产品就是“模型”,深度学习平台及其背后的深度学习框架,就如同不同品牌的积木,积木的各个组件相当于不同的模型或算法的一部分,开发者可以根据自己的不同需求选择各深度学习框架来进行产品模型的研发。

深度学习框架的意义在于它的出现降低了深度学习入门的门槛,程序员不再需要从复杂的神经网络开始从0到1编代码。深度学习算法的“深”和神经网络的复杂度紧密相关,如今,随着参数量增大、网络模型层数增多、硬件芯片多等问题出现,意味着深度学习的开发和训练难度越来越大,而有了深度模型框架后,程序员可以直接从框架平台的模型库中,选择或组装自己想要的模型,导入数据进行训练,最终实现部署,这让开发者和企业更快速、便捷地开发AI应用,避免重复“造轮子”。

深度习模型结构示意深度学习模型结构示意

简单来说,深度学习框架在人工智能产业链中的位置,可以类比PC时代的操作系统Windows、移动时代的操作系统IOS和安卓,正如百度CTO王海峰所言,深度学习框架下接芯片,上承应用,相当于“智能时代的操作系统”。

随着人工智能的发展以及开发者、使用者的人数越来越多,有那么几款好用的“智能时代的操作系统”在全球流行起来。过去,全球深度学习框架的市场份额被谷歌的Tensorflow和Meta的PyTorch两者瓜分,大致形成了产业界偏爱Tensorflow,学术界更青睐PyTorch的格局状况。

一直到2016年百度正式对外开源PaddlePaddle框架(现称百度飞桨),我国的科技公司和研究机构才陆续开始开源自己的深度学习计算框架,入局全球深度学习框架之争的战场。令人惊异的是,我国深度学习框架的市场也竟由此发生了翻天覆地的变化。

据知名市场调研机构IDC在2020年下半年发布的中国深度学习框架平台市场份额报告,TensorFlow、飞桨和PyTorch排名前三,合计占据了70%以上的份额,而到了2021年上半年,IDC再次更新了市场报告时,百度飞桨已然超越TensorFlow占据中国市场综合份额第一的位置。

要知道一家企业、一所科研机构如果想从某一深度学习框架迁移到不同的平台不是一件容易的事,不同框架间的生态壁垒需要迁移单位花巨大的时间成本和承担不小的资金压力,但百度飞桨自2016年正式开源入局,在2021年就一举夺下中国市场份额第一的宝座,这不是一句简单的中国AI产业迅速发展能解释的。

从产业中来,到生态中去

仅用短短数年时间打破现有格局,在中国市场超越谷歌、Meta这样的巨头,其原因仍基于最简单的商业道理——只要深度学习框架的市场需求仍未得到较好满足,技术上没做到收敛,那么新入局者、创新者就不会停止出现。

在中国这个中小企业众多、AI落地应用场景复杂、各类新硬件层出不穷的产业环境,一款深度学习框架要想受到欢迎,需能沉入到企业基础设施底层与其做深度耦合。以芯片产业为例,如今AI芯片大火,国内不少科技公司和互联网公司纷纷自研AI芯片,正如上文所言,深度学习框架下接芯片上承应用,一款AI芯片要发挥其效力必须要同深度学习框架适配。

过去该生态由深度学习框架Tensorflow、Pytorch和AI芯片提供商英伟达这一组合主宰市场,如今随着国内AI芯片的迅猛发展,各式各样的AI芯片出现在市场,但目前Tensorflow、Pytorch这两类深度学习框架与国内AI芯片的适配情况却不太乐观。

首先,深度学习框架和AI芯片的适配是一个巨大的工程量,其需要海量算子和众多后端芯片的支持,一款AI芯片和某类深度学习框架的适配都需要双方花巨大的时间精力成本,即便是像英伟达这样的大厂也只是和市面上的三大主流框架Tensorflow、Pytorch、百度飞桨适配,但更多出货量有限、体量有限的中小硬件厂商只能选择其中的某一种。

其次,当某一款AI芯片和主流深度学习框架形成适配,其实也意味着某一软硬件结合的生态已完成搭建,AI 芯片厂商的生态壁垒也由此形成,如今国内许多专用芯片出现,其目标本来就是某些细分市场,对深度学习框架的要求更多是能与企业应用场景深度耦合,基于本土市场的深度学习框架自然在此更占优势。

从芯片回到现在实际应用各深度学习框架的各企业上也同样如此。例如,某一企业在处理各项业务时,企业会根据其实际应用需求对深度学习框架中的代码做大规模的重写来匹配其业务,随着业务的继续发展变化,到后期最初的代码早已变得“面目全非”,不复当初的模样。

因而基于一线业务而来的飞桨能迅猛发展是有其根源的,百度飞桨早已不是Tensorflow以及PyTorch在中国的“平替款”。百度飞桨一方面,从实际产业需求出发,面向业务场景进行深入优化,并做通用化设计嵌入框架,经过大量业务场景的反复打磨,形成一套满足产业级业务需求的深度学习开源开放平台,例如百度飞桨已在国产芯片适配量方面做到了第一。另一方面,在已有业务实践的基础上,百度飞桨把核心能力开放出来,进一步服务于新的产业以及人工智能前沿领域的探索中,不断优化,推动人工智能整个行业的进步。

飞桨全景图飞桨全景图

市场需求没有被满足,技术创新者就会不断出现,从深度学习框架发展的历史脉络上看也同样如此。2015年由谷歌大脑团队开发的深度学习框架Tensorflow开源,Tensorflow背靠技术研发实力极强的谷歌从一开始就吸引了大量学界人士关注,但随着谷歌推出TensorFlow Serving、TensorFlow Lite等产品向工业界上靠拢,其难用的静态图和多变的API,直接导致了不少学界人士转而使用更适合科研的PyTorch,基于能一步步看、一层层调试的动态图,PyTorch在研究领域迅速站稳脚跟与工业界流行的Tensorflow瓜分深度学习框架市场。

不管是Tensorflow还是Pytorch都没完全平衡好框架完备性、高效性、易用性的问题,那么出现新框架就是必然的,这对新入局者来说就是一个机会。对于百度飞桨而言,更好的深度学习框架意味着更低的门槛,以及更多的可能,结合中国中小企业多、AI人才不足的实际状况,百度飞桨摸索出了不同于谷歌、Facebook的第三条路。

那么如何在技术上实现这第三条路径呢?百度AI技术生态总经理马艳军博士对品玩表示:“飞桨通过编程一致的计算描述,实现了自然完备的动静统一,在保持动态图灵活调试的同时可以实现静态图训练和部署,兼顾开发灵活性和效率。”

在做好深度学习框架完备性、高效性、易用性平衡的基础上,把门槛进一步降低,真正结合更多的行业需求做出来更多低门槛的应用。基于该理念,百度还依托于飞桨深度学习框架构建了零门槛AI开发平台EasyDL,开发者在上传数据并标注后,即可训练相应的模型部署应用,包括EasyDL在内的一系列低门槛工具和平台能方便开发者根据自己的AI知识和编程能力水平选择相应的平台,目前EasyDL已连续两年位列中国机器学习平台市场份额第一。

大生基于百度飞桨开发的沙漠种树机器人大学生基于百度飞桨开发的沙漠种树机器人

通过技术开源、零门槛开发等不断降低AI技术的应用门槛,通过联合企业AI人才培养,建立成熟完善的产业级复合型AI人才培养体系,百度围绕着飞桨搭建自主的AI生态,从根源上逐步改善中国的AI人才状况、技术研发情况。飞桨已经宣布总投入15亿元资金和资源,全面开启飞桨“大航海”计划,包括启航、护航、领航三大航道,以及共创计划,从资金资源、技术专家、校园人才等多方面联手产学研用共建AI生态。

截至2021年,飞桨已汇聚406万开发者,位居中国深度学习平台综合市场份额第一。在软硬件联动上,飞桨和22家国内外硬件厂商完成了31种芯片的适配和联合优化工作。此外,飞桨官方支持的产业级开源算法模型超过500个,并发布13个PP系列模型,在精度和性能上达到平衡,将推理部署工具链彻底打通,产业应用能力全方位升级。

如今,遍地黄金的日子过去了,低垂的果实已经没了,百度飞桨则从中国千千万万中小企业数字化转型这块硬骨头做起,在最底层基础应用和需求之间走好自己的路。

固定链接 'AI时代的操作系统从实践的土壤产出' 提交: April 6, 2022, 5:25pm CST