作为计算机行业发展至新兴阶段的现象之一,“开源”已逐渐成为技术茁壮成长最肥沃的土壤。
从上个世纪90年代起,开源发展大致可分为四个阶段。最开始的萌芽阶段,开源的贡献者主要以个人和大学为主。第二个阶段是以非盈利组织为主,比如Apache基金会等。2005年之后,谷歌等互联网企业纷纷发布开源软件,最著名的是Android操作系统。近几年,国内科技企业与人工智能企业逐渐参与到开源中来,成为开源的新生力量。
人工智能时代,开源是算法迭代与创新的主要驱动力。在人工智能备受关注的领域——深度学习中,开源同样发挥着至关重要的作用。深度学习框架秉持着承上启下的作用,上承应用,下接芯片,堪称智能时代的核心支柱,它帮助开发者直接使用成熟的工具,大幅提高开发效率。开源深度学习框架之所以能够成为各企业布局AI的重要选择,也就不难理解了。
AI发展,深度学习框架开源成为必然
开源,是聚集开发者最简单且有效的方式。企业可以围绕开源框架构建技术人才团队,研发新技术,打造业务生态闭环。
随着人工智能技术的发展,开源深度学习框架,也为人工智能产业快速上行提供了不可或缺的动力。一方面,框架开源为AI构建了一个开放共进的生态环境,加速AI应用落地;另一方面,它在解决行业实际问题时持续更新和迭代,为AI领域提供技术养料的同时,保持十足的创造力。
在技术相对成熟的国外,也曾有过一段对框架开源从无到有的路程。
2015年,谷歌率先正式开源TensorFlow,一众科技企业都将技术搬到了TensorFlow上。这也引起了亚马逊、Facebook的警惕,紧随其后纷纷推出了MxNet、PyTorch等深度学习框架,以兼容性和开放优势与谷歌抗衡。
反观国内,在人工智能发展初期,科技公司仍然以使用国外的PyTorch、TensorFlow、Keras、MXNet四家开源框架为主,却没有可以支撑技术发展的国产底层开源框架。
为了打破深度学习框架四家独大的局面,建设国内底层技术架构,百度在2016年开始自研PaddlePaddle飞桨深度学习框架,到2019年飞桨正式升级为功能完备的产业级开源开放平台。到今年,百度飞桨仍在持续地迭代升级。
百花齐放的深度学习框架开源元年
2020年,“开源”成为AI领域的标签之一,而今年也成为国内深度学习框架的开源元年。
从年初开始,华为Mindspore、旷视天元MegEngine、腾讯TNN、清华Jittor等数个国产AI框架渐次宣布开源。此外,百度飞桨也通过与不同企业的合作,不断拓展飞桨的兼容性和开放特征。随着国内科技公司对框架的开源,逐渐打破了国外PyTorch、TensorFlow、Keras、MXNet四家独大的局面,为国内人工智能技术的发展奠定了最关键的底层基础。
据全球咨询机构IDC在《中国深度学习平台市场份额调研》显示,在AI技术使用方面,接受调研的企业和开发者中,86.2%选择使用开源的深度学习框架。
就目前而言,除了华为、腾讯等大体量的科技企业外,一批新兴人工智能企业的开源项目,也逐渐成为主流,旷视的深度学习框架天元(MegEngine)就是其中之一。
来源:企业供图
旷视作为全球最早使用深度学习展开人工智能应用研发的企业之一,今年3月推出AI生产力平台Brain++,并开源其核心组件——深度学习框架天元(MegEngine)。其实早在2014年,旷视就已经开始研发天元。六年磨一剑的背后,是旷视整个团队不断尝试,不断更新迭代的成果。目前,旷视1400多名研发人员全员使用天元,旷视所有算法均通过天元进行训练和推理。
旷视的开源之路及生态布局
旷视从3月份宣布天元开源,到1.0正式版的发布,不到7个月的时间就历经了9次迭代。
今年6月,天元Beta版本正式发布,迎来3项性能升级,ARM系列CPU支持、完善量化训练和推理功能、推理功能优化。同时,天元与小米的MACE深度学习推理框架及OPEN AI LAB(开放智能)的Tengine框架实现了深度集成。
9月份,天元1.0预览版正式对外发布。在原基础上,天元1.0预览版新增5大技术特性:全新的Imperative Runtime、自动代码裁剪功能、更多的国产硬件支持、10余项推理侧性能优化、基于MLIR的静态子图优化引擎。
10月份,天元1.0正式版对外发布。旷视花了逾半年的时间对天元框架进行迭代更新,目前天元拥有了完整的功能体系,通过三大核心技术优势“训练推理一体”、“全平台高效支持”、“动静结合的训练能力”,让深度学习开发变得更为简单。
在天元框架升级迭代的同时,旷视还推出了一系列活动推动开发者生态建设。如面向高校学生和全球AI青年人才的开源大赛和人才培养计划活动;发起开发者培训计划、贡献者计划,吸引并鼓励开发者参与开源社区的生态建设。
毫不夸张地说,深度学习框架的开源指引着未来的道路。就仿佛互联网时代因为有了Windows,才有了在PC端办公、学习、浏览网页,在移动互联网时代,有了Android才使得整个应用软件生态繁花似锦;而在滚滚前行的AI时代,正因为有了华为Mindspore、旷视MegEngine、腾讯TNN、清华Jittor等深度学习框架开源开放,AI应用才能顺畅落地,AI生态才会生生不息,向阳而生。