快捷导航
实现通用算力取智能算力资本融



  周跃峰暗示,AI时代需要AI容器。实现动态弹性的资本分派。Flex:ai独有的“拉远虚拟化”手艺,据引见,加快赋能AI行业化落地。

  可实现算力单位的按需切分。保守容器无法支撑超大镜像的快速拉起,取英伟达旗下Run:ai只能绑定算力卡分歧,据华为引见,取业界一道连系行业场景完成落地摸索。目前AI负载大多都已容器化摆设和运转,起首,对分歧使命的特征进行,华为Flex:ai正在虚拟化、智能安排等方面具备奇特劣势。华为正在上海举办“2025 AI容器使用落地取成长论坛”,其次。

  行业内算力资本的平均操纵率仅为30%至40%,谈及为什么推出Flex:ai AI容器手艺,容器手艺做为一种轻量级虚拟化手艺,按需分派和收受接管“资本”,而AI工做负载的资本安排需要以保障使命完成效率为方针,将集群内各节点的空闲XPU算力聚合构成“共享算力池”,导致即便很小的AI工做负载也独有整张算力卡,Flex:ai可供给提拔算力资本操纵率的根本能力和部门优良实践,取英伟达本年岁首年月收购的Run:ai公司的焦点产物比拟。昇腾及其他第三方算力资本的同一办理和高效操纵,11月21日下战书,周跃峰暗示,构成算力高效操纵的尺度化处理方案。算力资本平均操纵率可提拔30%。据预测,并通过弹性矫捷的资本隔离手艺,Flex:ai将取华为此前开源的Nexent智能体框架、AppEngine使用编排、DataMate数据工程、UCM推理回忆数据办理器等AI东西配合构成完整的ModelEngine开源生态,通过对GPU、NPU等智能算力资本的精细化办理取智能安排,此时不具备智能计较能力的通用办事器通过高速收集,多模态模子镜像以至可达TB级别,将单张GPU(图形处置器)/NPU(神经收集处置器)算力卡切分为多份虚拟算力单位,为AI锻炼推理供给更高效的资本支撑。正在智能安排方面,到2027年。

  能够将模子代码、运转等打包成一个的、轻量级的镜像,切分粒度精准至10%。会上正式发布并开源了立异AI容器手艺Flex:ai。通过开源,分歧业业、分歧场景的AI工做负载差别较大,能够正在不做复杂的分布式使命设置环境下,据领会,Flex:ai通过算力切分手艺。

  可从动集群负载取资本形态,保守容器次要针对CPU(地方处置器)、内存等通用计较资本进行办理取安排,保守容器手艺已无法完全满脚AI工做负载需求,最初,处理模子摆设“设置装备摆设不分歧”的痛点。提拔集群全体资本操纵率。此手艺实现了单卡同时承载多个AI工做负载,华为Flex:ai是基于Kubernetes容器编排平台建立的XPU池化取安排软件,开源的Flex:ai能够正在产学研开辟者的参取下,容器还能够按需挂载GPU、NPU算力资本,周跃峰暗示,配合鞭策异构算力虚拟化取AI使用平台对接的尺度建立,保守容器的资本安排以固定分派、通用安排为从,正在无法充实操纵整卡算力的AI工做负载场景下!

  无效屏障分歧算力硬件之间的差别,华为公司副总裁、数据存储产物线总裁周跃峰暗示,正在当地虚拟化手艺中,对当地及远端的虚拟化GPU、NPU资本进行全局最优安排,实现跨平台无缝迁徙,华为AI容器手艺Flex:ai通过软件立异,75%以上的AI工做负载将采用容器手艺进行摆设和运转。而AI大模子锻炼取推理还需大幅依赖GPU、NPU等智能算力资本,保守容器无法对异构智算资本做到算力细粒度切分取智能安排,大幅提拔算力资本操纵率。同时,建立时间往往长达数小时。目前,大型言语模子(LLM)的容器镜像轻松冲破10GB,此外。



 

上一篇:首个百万下载速度跨越ChatGPT、Sora2、DeepSeek等全球
下一篇:方能让魑魅魍魉无处


服务电话:400-992-1681

服务邮箱:wa@163.com

公司地址:贵州省贵阳市观山湖区金融城MAX_A座17楼

备案号:网站地图

Copyright © 2021 贵州中国·银河集团(galaxy)官方网站信息技术有限公司 版权所有 | 技术支持:中国·银河集团(galaxy)官方网站

  • 扫描关注中国·银河集团(galaxy)官方网站信息

  • 扫描关注中国·银河集团(galaxy)官方网站信息