近日,汇量科技Mobvista全面升级SaaS产品「一站式云原生大数据AI平台」——EnginePlus2.0,并正式上线亚马逊云科技AWSMarketplace,助力全球企业实现新一代数据智能开发,解放业务生产力。
随着企业业务的快速扩展,衍生数据量面临爆发式增长,企业对数据处理分析的需求日趋迫切。
在此背景下,创新技术与方案成为企业刚需,用以解决数据智能处理的挑战:快速构建湖仓一体的大规模数据分析平台,高效实时摄入数据,并通过人工智能模型将数据的价值最大化,从而充分赋能业务。
EnginePlus2.0将数据湖、计算分析、人工智能集成在统一平台上,提供面向多种业务场景的实时数据湖框架StarLake、机器学习框架MindAlpha等自主研发的开源工具,能够与Spark计算框架深度集成。通过开放的产品架构解决开发者上云和数据智能处理挑战,EnginePlus2.0加速企业组织的数字化转型和业务创新。
EnginePlus2.0三板斧:大数据+AI+云原生
新一代一站式云原生大数据AI平台EnginePlus2.0通过将大数据与云计算、人工智能等信息技术融合创新,实现数据摄入、数据计算、模型训练、在线预测的一站式闭环,帮助客户有效提升数据处理的效率与精准度。在大规模业务的生产验证下,EnginePlus2.0兼具快速接入、简单易用、高性能、高稳定性等特点。
1.开源数据湖框架StarLake
作为一种中心数据储存的容器,数据湖具有高效、快速的特性,但伴随着的是相当高的复杂度和高昂的计算成本。
为了让客户更好地用上这种数据储存分析方式,Mobvista自研并开源了数据湖框架StarLake,实现了大规模数据的实时摄入和更新。
通过行列upsert功能、高并发入湖、元数据管理强拓展性、对象储存IO性能深度优化等特性,StarLake数据湖框架能够高效构建湖仓一体化分析平台,相比开源同类数据湖框架具有显著优势。
(图片:StarLakevs.Iceberg对比测试)
同时,整合了云原生计算平台SparkonK8s的EnginePlus2.0能提供极速资源伸缩,实现资源高效利用,满足企业超大规模数据请求与高效弹性的需求。
2.开源机器学习框架MindAlpha
除了数据湖,对数据进行人工智能建模是挖掘数据背后价值的重要途径,通过对数据进行算法建模,赋能业务,产生价值。
Mobvista自研开源机器学习框架MindAlpha,轻松处理大规模离散特征,与EnginePlus2.0之上的Spark、StarLake无缝结合,提供从数据到智能的一体化、一站式的高效体验。
MindAlpha的开源ParameterServerSDK支持千亿级大规模稀疏离散特征,与PyTorch、SparkMLLib无缝衔接,特征处理与模型推理逻辑和参数能全自动导出至线上Serving服务。其实时特征达到毫秒级延迟水平,真正做到实时反馈,快速捕捉用户行为。同时,其高性能在线Serving能进行模型横向切分,支持万亿参数,具有低延迟、自动弹性伸缩的特性,能进行CPU、GPU异构混布调度和负载均衡。
(图片:MindAlpha架构)
3.基于SpotMax的云原生架构
便捷地利用网络资源,实现管理、业务等方面的数据化转型,企业上云需求正在爆发。云原生架构也因具备高性能、高可扩展、一致性、符合标准、容错、易于管理和多云支持等特性,受到企业的青睐。
EnginePlus2.0基于SpotMax实现云原生架构。SpotMax云原生体系包括云资源调度优化、容器+服务网格融合、多云及混合云统一管理、无服务平台等特性。通过SpotMax构建的云原生基础设施,EnginePlus2.0支持一键快速部署,大幅度降低运维成本。在计算存储分离下,EnginePlus2.0能针对对象存储系统专门优化。同时,其所有组件均可弹性伸缩,有效加速企业效率,降低构建系统成本。
源于Mobvista技术中台战略
在EnginePlus2.0一站式云原生大数据AI平台的背后,是整个Mobvista技术中台。打破业务边界,Mobvista技术中台通过聚合协同作用对外赋能。
2017年,Mobvista启动中台战略,自主研发以AI+BigData为核心的技术中台架构。此时正值Mobvista旗下移动程序化广告平台Mintegral、数据分析平台GameAnalytics的快速发展,以及集团提出国际化战略,进一步拓展全球业务。
2018年,多个技术中台产品成功研发并成功赋能业务,包括数据中台Datatory、大数据计算平台EnginePlus、大规模机器学习中台MindAlpha以及基于云原生架构开发出的弹性集群管理平台SpotMax。Mobvista将技术中台产品化,对外发布,旨在以智能技术驱动增长。
从自研走向商业化,Mobvista技术中台——这个为全公司各业务提供解决方案的团队,正在迈出对外赋能的更多步。无论是Datatory、EnginePlus、MindAlpha还是已经成为集团二级品牌的SpotMax,这些产品均来自于Mobvista的大规模业务实践。在深度融合业务需求场景的同时,Mobvista技术中台从中沉淀出平台能力,不断复用,使之产品化、商业化,对外创造价值。
而这与Mobvista所提出的「SaaS工具生态」战略相一致。互联网的「技术溢出效应」正在加速数字化转型,Mobvista正在由技术创新者变为技术输出者。
市场需求在爆发,数据技术在更迭。对于任何想要加速数字化转型的企业来说,EnginePlus2.0都能通过一体化的产品解决方案,助力企业的数字化进程并实际有效地推动企业的业务发展。
从互联网广告、电商行业到金融风控,EnginePlus2.0已成功赋能数家国内企业、海外企业的业务发展。
以Mobvista旗下程序化互动式广告平台Mintegral为例,其日均数据量已达PB级,需调度数万CPU核心。在使用EnginePlus2.0后,Mintegral能实时处理用户行为特征,进行毫秒级反馈。在每天千亿次DNN模型预测请求下,满足万亿级排序量的排序业务服务,有效奠定了Mintegral在全球的领先地位。此外,在EnginePlus2.0赋能下,某互联网出海金融公司的业务表现指标迅速提升20%+。
“EnginePlus2.0融合了丰富行业套件、开源代码、数据算法模型,能帮助开发者在数据分析、技术开发、业务发展提供可靠精准的分析应用能力。让客户能站在众人肩膀上,快速建立起从数据摄入、分析到AI模型离线训练、在线预测的一体化能力。”Mobvista集团副总裁朱亚东博士表示。
“当然,在经历业务的大规模实践和可行性验证下,我们积累了更多经验和专业知识,为客户提供部署服务,帮助他们用最低的技术门槛、最低的成本、更小的风险实现数字化转型、智能化升级。我们希望成为中国版AI加持的Databricks,跨越数据爆发式增长到智能处理之间的鸿沟,构建新一代的基建体系。”
数字化转型发展前景广阔。结合多年技术经验与行业积累,Mobvista正在为更多企业组织打造SaaS工具生态,以技术产品、实践经验赋能行业的智能化升级。