你的浏览器版本过低,可能导致网站不能正常访问!为了您能正常使用网站功能,请使用这些浏览器。
chrome
Firefox
当前位置:易车> 揽胜星脉性能摘要> 摘要详情

揽胜星脉性能

揽胜星脉性能

摘要来自:《腾讯钟学丹:从基座、中台到应用助力“汽车+大模型”发展》

【易车摘要频道】下列精选内容摘自于《腾讯钟学丹:从基座、中台到应用助力“汽车+大模型”发展》的片段:

在AI基座层,腾讯云提供全球领先的算力、网络等基础资源,通过软硬件协同创新,为大模型训练和研发提供大规模高性能计算。在AI工程中台层,我们提供覆盖大模型全生命周期的工具链,通过智能研发平台、数据平台、AI 开发平台、AI Agent平台等能力,有效降低大模型训练难度,提升研发效率。

更上层的应用方面,其实技术和实际的应用还是有很大gap要去弥补,我们如何把这些具体的应用知识和这个行业的know how更好的结合在一起,真正的去应用起来,这是我们在致力于做的地方。

我们还为汽车行业提供全栈安全防护方案,帮助车企打造面向AI大模型时代的安全度量和防护体系,为大模型开发提供更加安全的环境保障。

算力是模型持续运转的基础,在基座层,我们为大模型进化提供高性能、高带宽、低延迟的算力支持。

腾讯分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS的智算算力,不仅能服务于大模型训练,还将在自动驾驶等场景中充分应用。新一代HCC高性能计算集群,搭载最新次代GPU,支持10万卡GPU超大计算规模,是国内性能最强的大模型计算集群之一,最快四天就可以训练万亿参数的大模型。腾讯自研的星脉网络,则为新一代集群带来了业界最高的3.2T通信带宽,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能,GPU利用率提升到60%以上。

在算力基座之上,腾讯提供一套完善、开放的AI工程平台,集成了业界领先的各类工具。比如,腾讯推出的首个AI原生的向量数据库,可以高效处理车端回传的海量视频、点云等非结构化数据,最高支持10亿级向量检索规模,百万级查询(QPS),延迟控制在毫秒级。

基于腾讯云TI平台的行业大模型精调解决方案,可以帮助模型开发者与算法工程师,一站式解决数据处理问题,保障数据高质高效、安全合规地处理。前不久,我们对TI平台的工具链进行了全新升级,全新升级的太极Angel框架,通过异步调度优化、显存优化、计算优化等方式,让大模型的训练效率提升至主流开源框架的2.6倍,推理加速比达到了2倍。

CopyRight © 2000-2023 BitAuto,All Rights Reserved. 版权所有 北京易车信息科技有限公司    购车咨询:4000-168-168 (周一至周日 9:00 – 21:00) 法定假日除外