据介绍,NOMI GPT是蔚来为NOMI量身打造的端云多模态大模型,包括自研的端云融合架构、多模态感知、认知中枢、情感引擎、记忆能力、NOMI GPT Agents(NIO Agents, User Agents, 三方Agents)等,能够灵活调用第三方 API,搭建 AI Agent,实现蔚来产品、服务、社区的全域贯通。
其中,NOMI GPT认知中枢、行业独有的情感引擎和行业领先的端侧多模态感知是NOMI焕新升级后的三大核心技术架构,配合数十亿级的参数模型、毫秒级的响应速度,赋予NOMI在感知、认知、决策等方面强大的复杂逻辑推理能力,具备能与用户进行开放式问答的交互能力。
此外,蔚来智能驾驶研发副总裁任少卿日前表示,蔚来的端到端智驾方案是将感知模型与规控模型合并,实现信息无损传递。去年中,蔚来开始探索机器人世界模型,目前已有阶段性成果,端到端方案也将在年内发布。
3、理想汽车:Mind GPT大模型
围绕车载场景,理想汽车同样打造了大模型。2023年6月,理想汽车发布认知大模型Mind GPT,并于当年12月开启内测。3月28日,理想汽车宣布,其全自研多模态认知大模型的Mind GPT已通过国家《生成式人工智能服务管理暂行办法》备案并上线。理想MEGA为Mind GPT 的首搭车型。
据了解,理想汽车从0到1构建了Mind GPT的原始基座模型。该模型拥有规模庞大的高质量、多样化训练数据,总量超过3万亿Token。Mind GPT采用自研TaskFormer神经网络架构,基于用车、娱乐和出行等场景使用SFT、RLHF等技术进行训练,不仅具备强大的语言理解、知识问答和文本生成能力,还具备非常强的逻辑推理、记忆网络和用户语言界面生成能力。
自MindGPT大模型推出之后,理想汽车对原有的座舱AI助手理想同学进行了优化,基于大模型打造新一代的多模态人机交互技术体系。
在本次车展上,理想汽车方面表示,在智能驾驶方面,理想汽车的智能驾驶平台AD Pro3.0将于5月初通过OTA 5.2(远程升级)开启推送,全面升级大模型架构,实现性能飞跃;基于BEV(鸟瞰图感知)大模型的高速NOA,驾驶表现更加成熟、安全,可实现千公里以上级别的安全接管水平;升级BEV模型架构的城市LCC(车道居中辅助),将实现红绿灯识别和路口启停功能;此外,复杂车位智能泊车功能,将支持超过300类复杂车位泊入。