近日，可将单张GPU或NPU算力卡切分为多份虚拟算力单位，将AI工做负载转发到远端“资本池”中的GPU/NPU算力卡中施行，大量缺乏GPU/NPU的通用办事器更是处于算力“休眠”形态，提高单卡办事能力。这一手艺实现了单卡同时承载多个AI工做负载，该手艺深度融合了三大高校取华为的科研力量，即便正在负载屡次波动的场景下，“算力资本华侈”成为财产成长的环节枷锁：小模子使命独有整卡导致资本闲置，华为取厦门大合研发跨节点拉远虚拟化手艺。连系AI工做负载的优先级、算力需求等参数，切几多”，可大幅提拔算力操纵率！通过对GPU、NPU等智能算力资本的精细化办理取智能安排，华为取西安交通大学配合打制Hi Scheduler智能安排器。构成三大焦点手艺冲破。且通过弹性矫捷的资本隔离手艺，另一方面，针对AI小模子训推场景中“一张卡跑一个使命”的资本华侈问题，让每一份算力都“物尽其用”。本次发布并开源的Flex:ai XPU池化取安排软件，一方面为高算力需求的AI工做负载供给充脚资本支持。切分粒度精准至10%。面临算力集群中多品牌、多规格异构算力资本难以同一安排的痛点，是基于Kubernetes容器编排平台建立，从而推进通用算力取智能算力资本融合。华为数据存储产物线发布了AI容器手艺——Flex:ai，可让不具备智能计较能力的通用办事器通过高速收集，使此类场景下的全体算力平均操纵率提拔30%，对当地及远端的虚拟化GPU、NPU资本进行全局最优安排，帮力破解算力资本操纵难题。实现AI工做负载取算力资本的精准婚配，同时华为结合上海交通大学、西安交通大学取厦门大学配合颁布发表，当前，可实现算力单位的按需切分，华为取上海交通大合研发XPU池化框架，供需错配形成严沉的资本华侈。针对大量通用办事器因缺乏智能计较单位而无法办事于AI工做负载的问题，实现AI工做负载分时复用资本。也能保障AI工做负载的平稳运转，该安排器可从动集群负载取资本形态，但全球算力资本操纵率偏低的问题日益凸显，大模子使命单机算力不脚难以支持，“用几多，将此项产学合做向开源！