当前快播：业内首个自动驾驶生成式大模型来了！背后释放这些信号

《科创板日报》4月12日讯（记者 曾乐）今年以来，AI大模型火爆全球，其落地应用频频引发市场关注。而大数据、超算中心的大规模应用，也是自动驾驶的AI基础设施。AI大模型在自动驾驶感知、认知等领域同样发挥着重要作用。

4月11日，在毫末智行第八届HAOMO AI DAY上，毫末智行发布了业内首个自动驾驶生成式大模型毫末DriveGPT雪湖·海若。

据毫末智行CEO顾维灏介绍，毫末DriveGPT雪湖·海若通过引入驾驶数据建立RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化，现阶段主要用于解决自动驾驶的认知决策问题，终极目标是实现端到端自动驾驶。

(资料图片)

《科创板日报》记者了解到，截至目前，毫末DriveGPT雪湖·海若实现了模型架构与参数规模的升级，参数规模达1200亿，预训练阶段引入4000万公里量产车驾驶数据，RLHF阶段引入5万段人工精选的困难场景接管Clips。

具体来看，DriveGPT雪湖·海若的底层模型采用GPT（Generative Pre-trained Transformer）生成式预训练大模型，与ChatGPT使用自然语言进行输入与输出不同。

DriveGPT雪湖·海若输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即：将自动驾驶场景形成“Drive Language”，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。

从实现过程来看，DriveGPT雪湖·海若先在预训练阶段通过引入量产驾驶数据、训练初始模型，通过引入驾驶接管Clips数据完成反馈模型（Reward Model）的训练，再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。

同时，DriveGPT雪湖·海若根据输入端提示语，以及毫末CSS自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。

毫末智行CEO顾维灏表示，毫末DriveGPT雪湖·海若将率先探索智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困四大应用场景。“首先会开放智能驾驶、驾驶场景识别。”

“目前，毫末在使用数据过程中，逐步建立起一套基于4D Clips驾驶场景识别方案，颇具性价比。未来，毫末将图像帧及4D Clips场景识别服务逐步向行业开放使用，这将进一步降低行业使用数据的成本、提高数据质量。”顾维灏如是说。

与此同时，顾维灏在现场宣布，毫末DriveGPT雪湖·海若智能驾驶能力首发落地车型为新摩卡DHT-PHEV。

顾维灏还宣布，毫末DriveGPT雪湖·海若的所有能力对生态伙伴开放，首批伙伴合作伙伴包括：北京交通大学计算机与信息技术学院、火山引擎、华为云、高通、京东科技、四维图新、魏牌新能源、英特尔。

需要注意的是，顾维灏在接受媒体群访时也坦言：“此次发布毫末DriveGPT雪湖·海若，是一个新的实践开始。从当前科技实践来看，参数规模和效果有很大相关性。我们现在主要应用在认知层面，随着这个能力应用的时间越长、不断增加数据使用使得参数规模越大，产品能力也会更为完善、丰富。”

“毫末DriveGPT雪湖·海若这种GPT的方式，最核心在于具有了逻辑推理链、具备很多语料。换而言之，可以把思考过程反向转化为语言，这会给用户对于自动驾驶的信任感将有很大提升。”毫末智行技术副总裁艾锐在接受媒体群访时说道。

当前，新一代人工智能正助力自动驾驶实现更为广泛的应用。

在中科院雄安创新研究院认知智能实验室副主任、雄安新区数字交通实验室副主任黄武陵看来，“自动驾驶技术正进入以数据和知识双驱动的多模态感知和认知理解为代表的新阶段。”

黄武陵认为，“大模型对算力要求，也将通过智能网联不断得到车载计算平台算力、路侧端边计算和云端分布式算力的支撑。同时，大模型对数据高要求可通过数据和知识双驱动方法，通过数据混合与人工增强等方法来解决；同时，通过从数据中提炼知识，降低模型数据需求、节省模型训练算力，节约大量资源。”