XSKY助力吉利汽车云平台的软件定义存储资源池实践

2020年6月22日 By renostock.com

英特尔公司的调查数据显示,在一个无人驾驶汽车中,摄像头每秒生成20-60 MB数据,雷达每秒生成10kB,声呐每秒10-100kB,GPS每秒50 kB,激光雷达的运行速度则是每秒10-70MB之间…

把这些数字相加,每个无人驾驶车辆每天将生成约4TB数据。这意味着每辆无人驾驶汽车都将生成相当于3000人的数据。

随着企业需要面对云计算,大数据,人工智能等越来越多新兴的工作负载,存储系统的灵活性和扩展性至关重要。

在即将过去的2019,整个行业正在面临两大趋势。

在信息化建设方面,吉利一直走在行业前列。在基础设施构建上一方面除了利用公有云托管营销IT系统等业务外,另外还在总部、基地以及旗下子公司自建或租赁运营商大型数据中心,支撑集团SAP,OA,邮件等内部运营系统以及自动驾驶等新兴业务。

吉利控股集团还是沃尔沃集团第一大持股股东,戴姆勒股份公司第一大股东。目前,吉利控股集团拥有超过120,000名员工,公司总资产超过3300亿元,连续七年成为“财富”全球500强企业。

吉利同样也选择了基于软件定义存储来重新配置云存储系统,并与XSKY达成合作。在经过前期的POC测试和业务对接后,XSKY SDS目前已经进入生产环境规模化使用,存储裸容量约2.5PB,存储节点按需分布在7个集群。

吉利控股集团(ZGH)是一家全球化企业,总部位于中国杭州。集团始建于1986年,于1997年进入汽车行业。2018年,吉利控股集团旗下各品牌在全球累计销售汽车超215万辆。

▪从私有云到混合云提供基础架构就绪。

谈及产品的优势,刘洋表示,一方面,云目未来贴近用户,深入了解用户的需求;另一方面,云目未来在视频结构化以及人工智能的技术领域有较强的积累和优势,在由中央网信办、公安部、工信部等举办的国内级别最高的“人工智能多媒体信息识别技术竞赛”中,其团队获得一个头等奖、一个二等奖。

▪存储扩容时需投入的硬件、人力、时间成本较高,对技术人员要求更高,需要原厂支持;

目前,云目未来的系统平台,在品宣层面可以进行投放效果的评估以及受众反馈的判断,按照需求进行精准营销,量化宣传效果;在竞品分析方面,可以梳理竞品策略脉络路径,进行差异化营销。

XSKY SDS支持AWS标准S3接口和丰富的API,方便业务平台开发人员接口的移植开发,还支持对象路由,提供高性能读写访问支持,分布式架构则方便随时扩容,可帮助实现从现阶段NAS到对象存储的转型。

▪不同存储品牌类型多,管理工具不统一且不友好,无法做统一管理;

▪存储系统维护成本高。

随着数据的不断积累,AI是解决未来海量数据的有力工具。AI芯片和深度学习算法的不断进步,让越来越强的计算能力能够有力的推动深度学习的进一步精进。

为此,客户希望通过构建统一的私有云,实现IT资源统一管理和调度,承接企业内部各种业务的同时,可按需利用计算和存储资源,从而加快应用上线时间,降低系统成本。

由于这些是大量的图片、视频类的非结构化数据,且文件个数多,为了提供足够的性能以及在低成本的前提下保证可扩展性,客户同样希望采用SDS来支撑。

随着无人驾驶,车联网等技术的发展,传统的汽车产业正在迎来新一轮的变革,汽车从生产制造到售后的全生命周期,正迈入以数据为核心的智能化时代。

吉利控股集团旗下拥有吉利汽车、领克汽车、沃尔沃汽车、Polestar、宝腾汽车、路特斯汽车、伦敦电动汽车、远程新能源商用车、太力飞行汽车、曹操专车、荷马、盛宝银行、铭泰等众多国际知名品牌。

▪丰富的存储接口与协议支持,一套存储满足客户所有业务需求;

通过从文本、图片、视音频等不同模态数据中交叉融合获取数据信息,云目未来将来自不同模态的显著性特征之间进行充分的交互,保证运算的高效性,实现不同模态特征的有效融合。

具体说来,企业将面临四大难题:无法对视频图像进行内容监管;人工投入量大且效率低;数据覆盖率低、监管度不高;缺乏统一判断标准,准确性低。

面对逐渐多元化的内容和渠道,云目未来以AI技术为支撑,以价值为坚守,顺应市场需求,聚焦应用场景落地,从而为行业、为用户创造一个更加安全和高效的互联网环境。

刘洋毕业于中科院计算所,数十年智能系统、大规模数据系统、图像视频多媒体处理系统研发经验。曾参与国家863计划曙光5000研制工作,独立负责分布式文件系统相关研发;前百度网盘研发负责人,从零搭建百度网盘技术架构,支撑七亿用户。

一是视频的爆发还将持续,二则是5G的来临。这两大态势下,以视频为主的“新媒体”数据量会迎来爆发性增长,给现有信息内容分析处理带来前所未有的压力。

▪存储容量受限,扩展性差;

1、块存储:支撑虚拟机1200+,支撑的项目包括容器云平台、智能车联网项目、企业ITSM管理系统等;

对此,云目未来科技(北京)有限公司董事长刘洋表示:“对于企业或政府来说,他们对这些数据的结构化处理、具体信息的提取有很强的需求。但是企业缺乏有效的技术手段获取数据里具体的结构化信息,而依靠传统的人工的方式,难以处理这么海量的数据。所以,这些问题在未来需要被智能化以及自动化来解决。”

底层存储作为上云的重要因素,客户在选择VMware作为搭建集团统一的私有云平台同时,也希望对存储设施进行革新,以适应快速、灵活的云交付模式。而过去内部大量使用的传统存储也面临着以下问题:

2、万亿级市场亟待开发,云目未来寻求从点到面的破局之道

不仅如此,未来,客户还计划SDS在充分获得使用的前提下进一步扩展至VDI,HPC等关键业务系统,为吉利从一家传统的汽车制造企业向智能出行科技公司实现转型提供强大助力。

自动驾驶作为汽车产业未来的发展方向,也是吉利目前正在重点发力的研究领域之一。为了更好的研究无人驾驶技术,需要将大量的各类测试数据、例如车载服务器中存放的视频以及雷达数据上传至存储,以便后期数据挖掘分析使用,总体数据量预计约50PB。

IDC对此指出,软件定义存储( SDS )具有“敏捷,弹性,解耦,成本低”四大价值优势,逐渐承载更多的关键应用,正在成为企业存储系统的主流选择。

推广:猎云银企贷,专注企业债权融资服务。比银行更懂你,比你更懂银行,详情咨询微信:zhangbiner870616,目前仅开通京津冀地区服务。

1、基于多模态信息的智能化理解,云目未来打造政企视频结构化产品系统

过去,由于大量的IT资源分散在不同区域和单位,不仅一定程度上造成资源的过多冗余浪费,且在安全性、效率、成本等方面都无法达到要求;数据无法自由流动,数据孤岛的存在又制约了客户有效利用数据以及将数据资源快速转化为数据资产的目标。

另外,客户存在着海量的非结构化数据,过去主要存储在NAS设备中,但是NAS存在着元数据瓶颈,海量并发访问I/O效率以及海量文件检索效率都非常低;另一方面,后期扩容困难,很难突破10PB级;

作为行业的探索者,刘洋也分享了自己面临的一些难题,那便是需求方没有提出明确的需求,而自己作为服务方需要进行引导,寻找二者认知之中的平衡。

正是基于这一思考,云目未来才进入这一领域,希望通过深入用户业务场景,根据用户业务特点,用算法及模型对用户特定场景中的需求进行识别,帮助用户最终实现智能化改造,从而重建用户业务流程,实现用户业务场景的AI落地。

云目未来正是一家依托深度学习与计算机视觉技术,用AI“理解”视频内容的科技公司,自成立以来以数亿级图像训练的深度学习算法模型为基础,以AI视频技术为核心,推动政企在视频等媒体内容领域智能处理,改变行业传统工作方式,帮助政企克服未来海量数据对工作的挑战。

在核心技术上,云目未来突破了针对目前人工智能的重点——“多模态信息的智能化理解”。

刘洋介绍道,云目未来的核心业务是帮助企业、政府进行视频的结构化,和基于视频内容结构化,为用户解决业务中的难题和痛点。

3、文件存储:作为研发系统归档数据存储,裸容量524TB,采用三副本,实际使用100TB。

那刘洋又为何会进入现在这一市场呢?

接下来,云目未来首先要做的,则是深耕垂直领域的细分应用场景,随后再进行拓展。刘洋具体解释道,一方面,如今的企业不仅需要算力算法和数据,还需要适配业务场景中的具体需求;另一方面,企业场景、政府场景关注的数据类型也有所不同,云目未来目前主要基于政企场景打造系统,而在未来,依靠迁移学习的能力,云目未来能够把已经积累下来的算法特征以及业务特征快速迁移到更为宽广的领域去,用最小量的数据,让新领域用户的业务能够最快地实现业务的适配。

▪针对VMware场景的最佳优化适配;

而在具体业务上,经历了8年的打磨后,基于这一技术,云目未来推出政企视频结构化产品。

▪副本等高安全等级数据保护;

▪硬件解锁,运维简便,TCO成本减少70%;

在刘洋看来,视频结构化的市场将是一个万亿级市场。而整个行业也正面临一个困境:AI落地碎片化严重,如何找到客户的刚性需求,用技术手段解决“痛点”,成为解决AI应用落地的主要矛盾。

截止目前具体的使用:

2、对象存储:对象桶个数100+,对象数300万+,支撑的项目包括容器云平台、大数据平台、信息化办公系统等数十个信息化系统项目;

▪弹性扩展,适配客户业务创新的快速响应需求,应用上线时间节省100%;

面对海量的数据生成,传统的数据基础设施在扩展性和灵活性等方面逐渐凸显不足,如何构建更加弹性灵活、低成本、高可靠的存储系统,以满足现代汽车产业上云、大数据、AI等更多新兴工作负载的实际需求,成为迫在眉睫。

从理论上讲,如果数据覆盖度足够广,算法足够先进,AI技术便可以取代人工进行内容的识别和判断,进而能够给内容盖上是否“合规”的标签。然而,在一段视频里面,极有可能融合图像、动作、文字、声音等等多种类型元素,如何结构化视频数据,成为人工智能识别的难点。