IT之家8月15日消息，据京东云官方公众号报道，京东云日前推出vGPU池化
08月16日 16:16
京东云推出 vGPU 池化方案，可令“大模型推理大幅降本”
2023-08-16 16:16:40 来源：IT之家 小 中
(资料图片)
IT之家 8 月 15 日消息，据京东云官方公众号报道，京东云日前推出 vGPU 池化方案，官方表示，“该方案可提供一站式 GPU 算力池化能力，令 GPU 利用率最高提升 70%，大幅降低大模型推理成本”。
▲ 图源 京东云 官方公众号
京东云表示，凭借其“自主研发的混合多云操作系统云舰”，京东云在原有支持混合多云 CPU 算力池化能力基础上，针对大模型训练所需的泛算力池化能力，进一步增加了针对 AI 应用所需的调度管理能力，包括卡管理、节点管理、异构资源调度管理等，为包括大模型训练在内的多种 AI 应用，提供一站式算力池化解决方案，从而全面提升资源利用率。
京东云同时称，自家池化方案具有四大优势，IT之家转录相关内容如下：
算力切分灵活：支持任意比例切分和动态调整机制，可实现按显卡算力、显存做细粒度切分，一张物理卡可供多个容器使用，与整卡算力相比，性能衰减在 2% 以内。 精细化配额管理：支持灵活的配额管理，按显卡型号 / label 配额，有效保障资源按需分配，提升推理稳定性和训练性能。 多场景适配：适配主流 CUDA 版本和不同 GPU 芯片适配，支持 TensorFlows、Pytorch 等行业主流的 AI 训练框架。 多节点管理：支持节点虚拟分组和节点组指定应用使用，全面提升大模型训练效率。
京东云表示，在使用场景中，开发者可以根据卡型号申请资源，按算力和显存切分，统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配，在任务结束即可以释放，支持多任务算力隔离和任务冷启动。
从实践效果看，通过 GPU 异构资源池化，AI 运行效率显著提高，整体 GPU 利用率提升 70%。结合任意切分和按需分配，在同等 GPU 数量的前提下，实现了数倍业务量扩展和资源共享，降低了硬件采购成本，使用更少的 AI 芯片支撑了更多的训练和推理任务。
关键词：
相关新闻
-
京东云推出 vGPU 池化方案，可令“大模型推理大幅降本”
-
释放夜经济更大活力
释放夜经济更大活力(市场漫步)作为新型混合消费业态，夜经济不仅丰富了
08月16日 16:16
-
打开全新创意空间
数字技术发展多年，广告业是数字技术发展率先赋能的文化产业之一。随着
08月16日 16:14
-
讲情义！辽宁与韩德君李晓旭续约2年，大韩放弃600万顶薪签老将合同
8月15日消息，15日，辽宁男篮官方宣布与两位老将韩德君、李晓旭续约2年
08月16日 16:18
-
通达宏泰(02363)发盈警 预期中期净亏损约4851.3万港元
通达宏泰(02363)发布公告，预期公司于截至2023年6月30日止六个月的收入约
08月16日 16:19
-
福莱山街道“家庭教育大讲堂”活动开始啦！
为切实推动《家庭教育促进法》落地落实，根据家庭教育成长季活动安排，
08月16日 16:19
-
守护绿水青山好生态——长沙市国土空间生态修复专项规划（2021-2035）获批
长沙晚报掌上长沙8月15日讯（全媒体记者刘攀）岳麓山里层林尽染、一江
08月16日 16:22
-
10月，时来运转，打破困境，幸福环绕，能量爆发的3个星座
在大家眼里，双子座是一个透明的人，活的很清晰，尤其是大智慧，很多时
08月16日 16:21
-
二连浩特市总工会积极推进职工医疗互助保障工作
近年来，内蒙古二连浩特市总工会始终坚持以职工为中心的工作导向，认真
08月16日 16:21
-
盖洛普调查报告：经常和邻居打招呼的人幸福感更高
民意调查机构美国盖洛普咨询公司15日发布的最新调查报告称，经常和邻居
08月16日 16:17
-
“920就爱你”海峡两岸电商购物节暨两岸青少年篮球友谊赛圆满落幕
中国台湾网8月15日讯8月12日，“920就爱你”海峡两岸电商购物节暨两岸
08月16日 16:24
-
《糖豆人》联动《忍者神龟》8月17日上线
《糖豆人》联动《忍者神龟》8月17日上线，不少小伙伴想要了解一些实时
08月16日 16:09
-
夏季搭配不知道怎么选择，粗跟水晶凉鞋，可以穿出简约还很百搭
女子选择了一件黑色的连衣裙，搭配白色的领口和配饰，看起来非常大气，
08月16日 16:14
-
最高法发布司法解释规定生态环境侵权案件范围
最高人民法院15日发布关于审理生态环境侵权责任纠纷案件适用法律若干问
08月16日 16:15
-
1.89万亿！五大上市险企前7月保费猛增8%，预定利率切换后能否延续？
北京商报记者梳理，截至8月15日，五大上市险企均已公布了今年前7月保费
08月16日 16:21
-
创意的贺卡智慧封住炉烟道送给心爱的女友
你需要的东西高温RTV硅胶填缝料填缝枪刀水如果您有一台较旧的炉子，它
08月16日 16:11
-
擅自砍伐枯死树木是否构成犯罪？最高法解答
8月15日是首个全国生态日，为进一步强化森林资源司法保护，最高法8月14
08月16日 16:16
-
西山区向市民宣传讲解环保知识
本报讯记者杨官荣报道8月15日，西山区开展首个全国生态日进社区宣传活
08月16日 16:06
-
骆驼嘴巴里吐出的红色肉球是个啥？
骆驼嘴巴里吐出的红色肉球是个啥？
08月16日 16:08
-
镇江新增一批省级乡土人才“大师”级工作室
近日，省人社厅发文公布2023年度乡土人才建设发展项目、新一批省级乡土
08月16日 16:13
-
提供免费体检、出台帮困助学措施……上海加大对集卡司机关爱力度
中工网讯“感谢你们为上海港码头物流供应作出的贡献。”8月14日，在临
08月16日 16:08
-
台登革热1500例 卢秀燕示警南往北蔓延
中国国民党台中市长卢秀燕今天针对台湾本土登革热疫情向民众示警，她表
08月16日 16:17
-
故宫珍藏时隔七年重临香港——存世仅见的“皇后之宝”
“皇后之宝”是皇后专属的宝玺，以彰显其地位的尊贵。这枚印章是1922年
08月16日 16:04
-
8月15日河南地区氢氟酸市场价格暂稳
8月15日河南地区氢氟酸市场行情暂稳，目前无水氢氟酸出厂含税价格主流
08月16日 16:03
-
【宁夏】为青年农民补钙 为乡村振兴赋能
本网讯为加快推进宁夏回族自治区石嘴山市高素质农民培育工作，进一步深
08月16日 16:17
-
政策性降息再次落地，后续降准仍然可期
预计20日LPR报价也将跟进下调，5年以上LPR不排除调整幅度更大。
08月16日 16:07
-
易语言注册热键在游戏无效（易语言注册热键）
1、注册一下热键不就知道了。2、注册成功就是没被占用。3、不成功就是
08月16日 16:08
-
MediWound(MDWD.US)：2023年Q2财报实现营收477.3万美元
MediWound(MDWD US)：2023年Q2财报实现营收477 3万美元，前值为466 8万
08月16日 16:10
-
泪流满面的画面！22岁罕见病女孩第一次张开双臂拥抱父亲
包宗锋告诉记者，在各级政府的帮忙下，包珍妮是该药纳入医保后温州第一
08月16日 16:16
-
安徽省宿州市埇桥区市场监管局开展“464”服务助企高质量发展走访活动
为深入贯彻实施质量强区战略，持续优化营商环境，促进企业质量提升，8
08月16日 16:02
资讯
关注
10月，时来运转，打破困境，幸福环绕，能量爆发的3个星座
在大家眼里，双子座是一个透明的人，活的很清晰，尤其... 更多>
10月，时来运转，打破困境，幸福环绕，能量爆发的3个星座
在大家眼里，双子座是一个透明的人，活的很清晰，尤其... 更多>
江西警方五年侦破破坏生态环境资源犯罪案件2万余起
法治日报全媒体记者周孝清通讯员刘波涉渔涉砂违法犯罪... 更多>
雅居乐集团(03383)完成先旧后新配售3.46亿股股份
雅居乐集团(03383)公布，配售事项已于2023年8月3日完... 更多>
美国30年期通胀保值债券（TIPS）收益率超过2%，为2011年以来最高水平
每经AI快讯，8月15日，美国30年期通胀保值债券（TIPS... 更多>
欧洲天然气暴涨再成常态！盘中涨18%，澳大利亚液化天然气罢工或开始
》。据媒体报道，WoodsideEnergy和工会在本周二会谈，... 更多>
亿帆医药：8月11日融券卖出金额2636.00元，占当日流出金额的0.01%
同花顺数据中心显示，亿帆医药8月11日获融资买入878 ... 更多>
民生银行广州分行落地广州首笔QFLP业务
8月15日，由民生银行广州分行承办的“产投联动 赋能... 更多>
白云机场（广州南站）空铁中转服务点正式启用
信息时报讯（记者成小珍实习生汤可欣通讯员机场宣）8... 更多>
中航科工(02357.HK)：中航电子将更名为中航机载系统股份有限公司
格隆汇8月15日丨中航科工(02357 HK)发布公告，为了树... 更多>
一位退休老干部道出的当今社会真相，太敢说了
一位退休老干部道出的当今社会真相，太敢说了,开心,美文 更多>
雷军：小米5G专利全球排名前10，占比4.1%
今晚7点，小米召开“2023雷军年度演讲”。据介绍，这... 更多>
太赫兹板块8月15日跌1.14%，天银机电领跌，主力资金净流出1.73亿元
8月15日太赫兹板块较上一交易日下跌1 14%，天银机电... 更多>
营业执照公示信息