京东云推出vGPU池化方案，大模型训练效率提升 成本降低
(资料图片仅供参考)
随着人工智能应用的广泛应用，图形处理器（GPU）作为AI计算的核心硬件之一，需求量持续增长。为满足这一需求，京东云近日推出了一种名为vGPU的池化方案。这是一种一站式的GPU算力池化能力，能够使GPU的利用率提高最高达70%，从而大幅度降低大模型推理的成本。 实践效果显示，通过GPU异构资源池化，AI运行效率得到提升，成本降低，整体GPU利用率提升70%，具有显著的优势和实际应用价值。结合任意切分和按需分配，在同等GPU数量的前提下，实现了数倍业务量扩展和资源共享，降低了硬件采购成本，使用更少的AI芯片支撑了更多的训练和推理任务。 京东云表示，这个方案是基于他们自主研发的混合多云操作系统云舰。在原有支持混合多云CPU算力池化能力的基础上，京东云针对大模型训练所需的泛算力池化能力，进一步增强了针对AI应用所需的调度管理能力。这包括卡管理、节点管理、异构资源调度管理等，为包括大模型训练在内的多种AI应用，提供一站式算力池化解决方案，从而全面提升资源利用率。 京东云的这个池化方案具有四大优势：算力切分灵活，支持精细化的配额管理，适配主流CUDA版本和不同GPU芯片适配，还支持节点虚拟分组和节点组指定应用使用，这些优势将全面提升大模型训练效率。 在实际使用场景中，开发者可以根据卡型号申请资源，按算力和显存切分，统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配，在任务结束即可以释放，支持多任务算力隔离和任务冷启动。 京东云的vGPU池化方案是一种高效、灵活、经济的解决方案，对于大模型训练和AI应用具有重要的实用价值。未来，随着人工智能技术的不断发展和普及，vGPU池化方案将会发挥更加重要的作用，为企业的AI应用提供更加灵活和高效的解决方案。
关键词：
三星新款头戴设备推迟发布：针对苹果Vision Pro
2023-08-17 20:03:00 
索尼A7cII和A7cR曝光：8月29日发布 16-35GM II
2023-08-17 20:02:37
京东云推出vGPU池化方案，大模型训练效率提升 成本降低
2023-08-17 20:01:29 
宁德时代高焕：神行超充电池，开启全民电动新时代
2023-08-17 19:54:45 
边浏览边学习 谷歌将添加新功能：用人工智能对文章进行概括
2023-08-17 19:54:01 
上海公布数据要素产业三年发展蓝图 打造国家级数据交易所
2023-08-17 19:23:49 
奇瑞欧萌达纯电动版内饰曝光：内饰变化不大
2023-08-17 19:07:17 
583硬派家族集结 方程豹豹豹5成都车展上线
2023-08-17 19:05:32 
大众ID.Buzz GTX路试谍照曝光 00:33
2023-08-17 19:05:28 
第7届南博会首日 云南昭通收获近300亿元大单
2023-08-17 19:04:48 
三个“抓手”持续筑牢安全“防火墙”
2023-08-17 19:02:40
加大法人信贷投放 助力地方经济发展
2023-08-17 19:02:33 
全新第三代逍客上市 13.99元起售
2023-08-17 19:00:21 
普法惠民暖民心 主动服务零距离
2023-08-17 18:59:44 
执为民之笔 绘就乡村振兴新画卷
2023-08-17 18:59:42 
型格销量下滑原因曝光：内饰材质不好 驾驶体验不足
2023-08-17 18:57:59 
专访壹号本CEO王琳：深耕三合一PC游戏机赛道 助力行业发展
2023-08-17 18:07:06 
“创新汇聚新动能 融合打造新生态” 人工智能与先进计算融合发展论坛圆满召开
2023-08-17 18:06:28 
光启技术(002625.SZ)：目前暂未涉及超导技术
2023-08-17 18:06:24 
大疆创新即将进入电动自行车行业
2023-08-17 17:57:02 
清华大学发布数据库管理系统 可自动进行数据库管理
2023-08-17 17:56:23 
大学新生14英寸轻薄本选购指南（4000-5000档）
2023-08-17 17:55:15 
鱼岳镇北街社区：老旧小区如何改群众说了算
2023-08-17 16:44:34 
数字变革迈向何处，端点科技探寻新型企业三大特征
2023-08-17 16:06:21 
《星空》限定主机曝光：侧透+红白配色
2023-08-17 16:05:36 
Xbox《博德之门3》分屏功能被推迟 玩家质疑微软是否应该放弃XSS功能平等
2023-08-17 16:00:38 
冲量在线打通隐私计算“最后一公里”
2023-08-17 15:58:53 
宿舍神屏！600元到手科睿可旋转的24寸 165Hz电竞显示器
2023-08-17 15:58:12
德尔股份(300473.SZ)：公司与浙江世宝没有合作关系
2023-08-17 15:22:04
提前曝光《使命召唤20：现代战争3》豪华版内容：肥皂干员DLC包、抢先体验单人战役
2023-08-17 15:06:54 
Gurman：由于Vision Pro商标存在争议，苹果可能在中国重新使用Reality品牌
2023-08-17 15:04:48 
暴雪禁用暗黑破坏神4交易系统 玩家买金币被坑得血亏
2023-08-17 15:03:39 
派大星实机演示：玩到爽了
2023-08-17 15:00:38 
余承东：全新问界M7将在9月发布，有质的提升和飞跃
2023-08-17 14:55:28 
被侵权8万元！博主回应侵权照片：自己拍
2023-08-17 14:07:36 
新型涂料能降低能源消耗 可应用于建筑
2023-08-17 14:06:14 
英菲克W9游戏鼠标到手仅需19.9元
2023-08-17 14:03:14 
今日黄金首饰价格多少钱一克(2023年8月17日)
2023-08-17 14:01:58 
荣耀Magic V2持续供不应求，CEO赵明呼吁消费者不要加价购买
2023-08-17 14:00:43
微软未及时修复Windows PowerShell Gallery漏洞
2023-08-17 13:57:07 
人民银行增加支农支小再贷款350亿元
2023-08-17 13:06:11 
农行绿色信贷余额增速超30%
2023-08-17 13:01:34 
【普惠小微万里行】“知识产权金融”助力实体经济发展
2023-08-17 12:58:50 
国服手游《重生细胞》销量突破500万 新版本筹备中
2023-08-17 12:24:29 
京东818手机节购一加 Ace 2 Pro新品 加29.9元享一年无限次碎屏保
2023-08-17 12:07:59
脑虎科技彭雷：以务实之道，行长稳之路
2023-08-17 12:05:08 
字节跳动水印技术论文入选ACM MM 2023
2023-08-17 12:03:35 
极智嘉x吉利汽车 x京东物流，引领汽车行业智慧物流新变革！
2023-08-17 11:53:57
小米MIX Fold 3保外维修费出炉：换屏要3650元
2023-08-17 11:07:36 
AMD锐龙7000APU迷你主机2999元 16GB+1TB版本
2023-08-17 11:04:49 
咖喱味iPhone 15要来了！富士康印度开始生产iPhone 15型号
2023-08-17 11:01:35 
费翔演纣王殷寿 总票房突破40亿
2023-08-17 10:58:42
电影《长安三万里》致歉：未授权使用个人作品
2023-08-17 10:55:11 
中船系板块持续拉升，昆船智能涨超6%
2023-08-17 10:54:46 
2023年汽车销量与楼市销量比例降了 崔东树建议更多措施拉动购车
2023-08-17 10:07:56 
iPhone 15印度产：8500万部 鸿蒙/华为供应商是最大供应商
2023-08-17 10:04:05
【乡村振兴进行时】以“绿色金融”滋养“绿色发展”
2023-08-17 10:01:46
东莞网约车需双平台监管 卫星定位装置要求高
2023-08-17 09:59:47 
小度青禾学习手机W30博学版发布 来京东参与预售100元定金可抵300元
2023-08-17 09:58:52 
众安保险发布全球数字化养宠新趋势
2023-08-17 09:56:15 
苹果将在印度生产AirPods耳机
2023-08-17 09:54:54 
记者观察：家财险也需“与时俱进”
2023-08-17 09:54:32 
SAS携手中国太保荣获2023年度“中国最佳合规风险技术实施”奖项
2023-08-17 09:54:29
镭波T99X怎么样
2023-08-17 09:32:53 
“杠子”解锁致富密码
2023-08-17 09:09:31 
离岸人民币对美元跌破7.3关口
2023-08-17 09:07:46
138家险企公布短期健康险赔付率
2023-08-17 08:54:52 
涿州地区家财险进入理赔高峰
2023-08-17 08:54:35 
天风证券：本月LPR或将非对称下调
2023-08-17 08:32:19
抖音与中国电影资料馆启动经典香港电影修复计划
2023-08-17 08:06:59 
吉利汽车新车型萤火虫上市 起售6.98万元
2023-08-17 08:06:24 
《碧蓝幻想：Relink》已评级：有微交易
2023-08-17 08:03:24 
黄渤闫妮跳操《学爸》电影上映
2023-08-17 08:01:45
索尼申请新专利：用虚拟现实参与电子竞技
2023-08-17 07:56:54 
谷仓孵化器 聚焦硬科技
2023-08-17 06:59:45
《第一后裔》重磅来袭 影驰RTX 4060 Ti 星曜 OC开启DLSS 3完美助力！
2023-08-17 06:59:13
索泰固态主动散热Mini PC PI430AJ上市
2023-08-17 05:58:54 
艾华集团（603989）：8月16日北向资金增持6.15万股
2023-08-17 03:42:07 
千帆竞发丰收路 海南临高开渔文化节开幕
2023-08-16 23:07:05 
线上线下超3万家展商参展第七届中国—南亚博览会
2023-08-16 22:35:33
大模型故事，科大讯飞还没讲透
2023-08-16 21:15:24 
2023 年 Q2 增长迅猛，雷鸟创新携Xreal、Rokid领跑国内消费级AR市场份额
2023-08-16 21:06:35
宁德时代发布神行超充电池 充电十分钟续航400公里
2023-08-16 20:59:34 
“微改革”优化营商环境供给
2023-08-16 20:03:11 
这个李鬼可比真李逵厉害，多家公司吐槽LOGO变成视觉中国版权图
2023-08-16 19:15:11 
极智嘉(Geek+)发力智慧物流，三大项目关键阶段全方位护航全球合作伙伴
2023-08-16 19:02:16 
黄冈市农业科技赋能成果推广
2023-08-16 18:09:00
江苏如皋推进社会治理更接地气更好服务民生
2023-08-16 18:08:27 
鼎通科技拟发不超7.95亿可转债 2020上市2募资共12亿
2023-08-16 18:04:31 
吉林环城农商行“三个聚焦”服务地方经济发展
2023-08-16 18:03:49
新技术再续旧时光,火山引擎首次采用视觉大模型修复经典老港片
2023-08-16 18:03:18
看完中国联通全新XR通话 让人忍不住想马上打Call
2023-08-16 18:02:53 
中国重汽推出新轻客车型 搭载潍柴2.0T柴油发动机
2023-08-16 17:59:19 
深耕餐饮SaaS十一载 客如云与美味不用等“双剑合璧”开启新征程
2023-08-16 17:57:13 
多条“赛道”发力，云南嵩明县经济持续进位
2023-08-16 17:55:43 
2023东北亚（兴城）国际泳装博览会新闻发布会召开
2023-08-16 17:55:26 
Miel蜜迩 M75 Blue Flurry蓝雪花上市
2023-08-16 17:53:51
瑞虎8 PRO冠军版上市 综合续航超过1000km 12.69-15.99万元
2023-08-16 17:02:05 
散热稳了！一加Ace 2 Pro首发航天级天工散热系统
2023-08-16 16:59:14
人民银行将于8月22日在港发行350亿元央票
2023-08-16 16:57:54 
相关新闻