《人类简史》谈到,人类与众不同之处就是可以在心里构筑一个世界,然后在现实世界里面创造出来。今天华为正在为人类进入智能时代,构筑一个全新的云基石。
当大家都在提智能的时候,华为云想到的却是当前数据架构是否能支撑起万物互联的智能世界?比如支撑整个数据流动的底座,云计算是否需要进化?比如今天的云存储是否能够满足智能时代海量数据的交互?
华为云给出的答案是:制约云计算为智能时代更好地服务的瓶颈就在“最后一公里”。在云端,“最后一公里”即指数据通过服务端软件、网络、存储服务器,最终抵达介质的这一过程。
“最后一公里”的挑战,也是指随着人工智能(AI)、VR/AR、5G、自动驾驶等技术和应用的发展,云存储面临着海量数据存储、数据实时性、以及智能应用等挑战。
围绕着“最后一公里”的挑战,华为云日前在成都发布了云存储All-Flash战略,力在推动云存储从毫秒走向微秒时代,同时还推出了该战略的首个落地产品——全新一代极速IO云硬盘。
那么围绕云计算“最后一公里”瓶颈,华为云存储如何实现微秒实时处理?又如何通过AI来实现数据利用越来越快。至顶网采访了华为云CTO张宇昕。
张宇昕表示,随着人工智能(AI)、VR/AR、5G、自动驾驶等技术的发展,应用对云存储的实时处理能力提出了更高标准。对于支撑智能世界的数据平台而言,需要进入百微秒量级,才能满足实时性要求。
进入微秒时代,华为云有哪些黑科技?
在数据中心里面,影响数据时延的原因主要来自两个层面,一个是经过整个网络传输时延,一个是存储本身介质的时延。目前这两个层面的时延都是毫秒级,这样情况下的5G应用、自动驾驶、AI等应用很难做到实时处理,如果要进入微秒时代,必须把这两段时延的瓶颈都打破。
张宇昕分享了华为云解决数据实时处理难题的黑科技。
张宇昕表示,首先,为了实现这“最后一公里”的百微秒级突破,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。相比机械硬盘,Flash介质具有更强的性能和20μs的极低时延。同时华为云围绕介质上的能力,全新设计了先进的存储引擎,既充分释放介质的能力,降低时延和提升性能,又提高了存储介质的可靠性和增强了使用寿命。
“第二,我们通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延也降到了极低,所以整个数据处理IO从进来到出去,我们能实现50μs -100μs的稳定时延。” 张宇昕谈到。
第三,华为公司有一个很强的优势就是芯片,目前全系列自研芯片从“算、传、存、智”四个维度来增强数据处理全流程。芯片与架构的紧密配合,充分发挥了鲲鹏CPU在多核、低功耗等方面的优势;通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问;结合昇腾AI芯片,让全栈软硬件联动创新,并首次实现云存储在芯片级的深度定制优化;实现通过网络芯片和SSD 存储卡控制芯片,把整个IO路径重构,做到极低时延。
当然说了这么多,个人第一感觉还是算法的重要性,不管是控制器、软件也好,芯片也好,里面很多核心技术其实都涉及算法,算法需要长期的积累,才能不断地逼近能力极限。华为云的优势就是把这些能力综合起来,做到了数据的实时处理。
存储越用越快?我们从当下的数据“越用越慢”谈起
在发布会上,张宇昕谈到华为云创新的技术让存储越用越快,引起了笔者的好奇心。大家知道不管是手机,还是电脑,用的时间越久,速度越慢。那么华为云是如何实现数据存储越来越快的呢?
首先我们来看一下当前的数据存储越用越慢的情况。随着数据的增加,存储介质碎片增多,包括企业的数据中心到云数据中心。随着时间地推移,用户访问数据越来越慢。造成这种原因很大程度上就是由于数据在数据中心的布局以及数据存储所提供IO能力跟企业业务要求不匹配。当数据量大,租户越来越多,相互之间也可能资源有争抢的,那这种情况就会加剧。
目前,华为云存储将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用越用越快。华为云AI预测能力,可预判30天性能趋势,提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。经过全局的数据进行优化,最大化地让全局的资源得到充分利用。
所以从客户的感受来讲,随着这种学习的深入,训练数目的增加,训练精度的提升,AI会越来越了解客户,让系统自动感知,而不是通过人工干预,可以做到快速系统调整来响应客户的需求。
华为云明确了以“全闪存、全系列、+智能、全栈创新”为导向的All-Flash战略布局,让AI加持的云存储逼近介质的极限,带领全系列存储逐步完成全闪存进化,带领云存储由机械时代迈入电子时代。而本次基于All-Flash战略推出的极速IO云硬盘,其时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库、半结构化数据库和ELK分布式日志应用以及流处理等场景对性能的极致要求,也是主流云厂商中首家进入百微秒以内的云硬盘。