外界对理思汽车的概念云开体育，似乎存在不少诬陷。

在繁密新兴汽车品牌中，理思汽车往往被质问「没偶然期」，致使有些声息将其居品按捺为「工业垃圾」。尤其在智能座舱方面，外界对其印象似乎仅限于雪柜、彩电和大沙发等元素。

这种诬陷看似有其道理。理思汽车首创东谈主李思被认为是车圈最优秀的居品司理，他好坏地知悉了多孩家庭的需求，并针对这一细分阛阓提供了更好的用车体验。

在这经由中，理思汽车的宣传策略长久以来是将时期细节置于幕后，更防御于展示居品的使用体验，比如浩瀚的空间、安静的建设以及影音文娱等功能，而相对少说起自主研发时期。这些在无形中变成了外界对理思汽车的概念偏差。

尽管制思汽车率先推出了雪柜、彩电和大沙发等建设，但理思汽车信托，信得过粗略晋升智能座舱体验的，将是他们自研的大模子—— Mind GPT。理思汽车在 2023 年一季度驱动了这别称目，成为全球首个自研大模子上车的汽车企业。

理思汽车 AI 首席科学家兼智能座舱 AI 精致东谈主陈伟 | 图片着手：理思汽车

在广州车展驱动前，极客公园在北京望京的理思汽车办公室，采访了理思汽车的 AI 首席科学家兼智能座舱 AI 精致东谈主陈伟。他共享了大模子在汽车中的应用及东谈主机交协作手 - 理思同学的将来估量。

面前，理思汽车已成为新动力车企中的托福领跑者，但其策略方针远不啻于此。陈伟示意，理思不单是是一家车企，更是一家东谈主工智能公司，智能汽车联接了物理天下和数字天下，他们但愿把身处数字天下的理思同学打变成将来的智能体。发展分为三个阶段：动身点增强用户的智力；其次成为用户的过劲助手；终末成为能作陪用户的家东谈主。虽然，这个三个阶段不是乞哀告怜，是会相互交叉的。

对于将来，理思设定了一个宏伟的方针：成为全球动身点的东谈主工智能企业。他们的智能电动车不仅会成为最早的东谈主工智能机器东谈主，还将构建物理天下中的 AI 生态系统。如今，理思汽车正稳步朝着这一方针迈进。

理思不仅是一家车企，更是一家东谈主工智能企业

Q：外界对理思智能座舱的发展历程了解未几，你能先先容下吗？

陈伟：理思智能座舱的 AI 交互时期履历了三代发展。最早，咱们主要依赖供应商时期，但三年前驱动自主研发，郑重建立了基于视听和会的多模态交互时期，达成了从语音交互到智能概念的全栈闭环。2023 岁首，咱们启动了大模子的研发，年底见效将其应用在车载系统中。

在大模子出现前，语音交互主若是号召式或任务型的，行业竞争更多会聚在语音识别的速率、试验的准确性和反映遵循上。然则，晋升家庭用户体验永恒是咱们的方针。咱们专注于「全家东谈主」的用车场景，打造「三维空间交互」的智能座舱。这一座舱不仅是糊口和责任除外的"第三空间"，亦然一个高性能运算平台，搭载了丰富的传感器和庞杂的腹地算力，为革命功能奠定了基础。

举例，咱们在座舱中达成了「无音区」时期，不再局限于某个特定区域，而是基于空间坐标定位和追踪声源。此外，咱们设备了「方言解放说」功能，现已支抓 9 种方言，便于不同用户群体使用。咱们还添加了隔空触控和手势识别，结合语音提示，进一步裁减用户的交互本钱。

在研发理思同学的时期时，咱们永恒专注于让东谈主机交互更当然、高效，竭力于为用户提供庞杂而超出预期的智能体验。

Q：理思在研发自研大模子时主要计议了哪些身分？

陈伟： 在研发大模子之前，车内的应用场景主要会聚在车控、媒体、导航等任务型对话，且感知时期趋于老练，但概念智力仍然不及，尤其在复杂任务联结、学问问答、盛开式对话上存在局限，这也制约了理思同学的居品力。

咱们在 2022 年便驱动推动预锤真金不怕火说话模子时期，郑重晋升理思同学的当然说话联结智力。而 2023 岁首，跟着 ChatGPT 的发布，咱们愈加执意大模子是梗阻概念智力的要道。因此，决定启动 Mind GPT 的全栈研发，以期推动理思同学的体验跨越式晋升。

其时，开源生态刚刚起步，业界对大模子的联结也较为磨蹭。为加速进展，咱们插足大量资源从大模子基座驱动探索大模子"无东谈主区"时期。研发初期，咱们专注于车内高频使用场景，打造理思同学在大模子时期的新变装，包括用车助手、文娱助手、出行助手和百科安分，辛苦让大模子进展出色，并能达成无感知的智力升级，同期与原有的任务型对话无缝和会，从而晋升理思同学的智能化水平。

Q：在大模子与传统对话系统的和会中遭逢了哪些挑战？

在设备 Mind GPT 时，咱们插足大量元气心灵措置了任务型对话系统与大模子智力的和会问题。许多车企的大模子系统需要特定提示才能启用，导致原有功能失效。而咱们的方针是让理思同学在智能化晋升的同期，保留用户熟悉的交互体验，让用户在当然中感受到功能高出。

此外，跟着大模子的对话智力晋升，理思同学在用户对话中可能会插话滋扰。因此，咱们设想了多模态用户意图判定算法，让理思同学粗略精确识别是否在与他交流，从而达成"随叫随到"却不惊扰用户的体验。

大模子在信息准确性和时效性上存在"幻觉"问题。为此，咱们设想 Mind GPT 具备联接学问库及互联网的智力，以确保用户获取的信息准确且实时。这亦然咱们在优化模子体验时翔实梗阻的标的。通过不断探索用户场景，咱们在大模子研发的经由中，也在抓续扩张其应用深度和广度。

理思 Mind GPT 的时期架构 | 图片着手：理思同学

Q：Mind GPT 经过了从 1.0 到 3.0 的迭代，这个经由中有哪些要道时期梗阻？

陈伟：Mind GPT 的演进履历了三个紧迫阶段：

1.0 大说话模子： 聚焦大说话模子智力的打造，在模子效果及推理遵循找到最优解，达成理思同学概念智力的跃迁，这个阶段重在说话联结、生成、学问问答等智力

2.0 说话智能体： 聚焦大说话模子应用智力的打造，中枢是构建围绕 Mind GPT 的智能体时期及工程体系，理思同学光有一个智谋的大脑是不够的，他的谋划、纪念、用具、行动的智力都要充足的好，才能具备自主性，措置更多复杂问题。

3.0 多模态智能体： 聚焦多模态的智能体智力打造，中枢是构建和会感知和概念的多模态端到端模子的智力，将东谈主机交互感知和概念的级筹商统升级到单一端到端模子，在交互延伸极大裁减的同期，多模态数据的和会锤真金不怕火粗略进一步晋升模子的学习质料和遵循，达成模子智力显耀晋升。

Q：最近，理思汽车连气儿发布三篇东谈主工智能顶会论文，能浅易先容一下这些论文的本体吗？

陈伟： 这三篇论文主要聚焦于晋升大模子的感知智力、措置东谈主类 - 物体交互（HOI）检测中的长尾问题，以及疏忽大模子的"幻觉"问题，为理思汽车的多模态、端到端智能体构建提供了紧迫时期支抓。

第一篇论文（著作尾部参考文件处有翔实先容） 探讨了怎么灵验将多模态信息与大说话模子（LLM）和会。现时大多数多模态模子将不同模态的本体对都到说话模子的语义空间，以便应用其庞杂智力。然则，传统模态联接器往往无法针对特定任务索要所需的模态信息。为此，论文漠视了 Q-MoE（高效的搀杂大众模态联接器），通过引入文本信息的监督，使多模态信息索要更具针对性。Q-MoE 遴选革命的模子结构和搀杂大众路由策略，在跨模态多任务学习中的性能显耀高出现存联接器。

第二篇论文 漠视了 KG-Adapter，这一时期将学问图谱（KG）整合进大说话模子，以疏忽模子"幻觉"问题。尽管大模子在许多任务中进展优异，但往往穷乏准确的专科学问和最新信息。KG-Adapter 基于高效微调（PEFT）按序，将学问图谱的结构信息径直整合到说话模子中，达成了端到端的学问推理。实验标明，即使只锤真金不怕火少许参数，KG-Adapter 在多任务和多个数据集上超越了之前的模子，显耀晋升了学问准确性。

第三篇论文 针对 HOI 检测的长尾问题，漠视了"双先验增强解码汇集"按序。这种双先验解码采会聚合了多模态大模子的交互联结智力和检测模子的局部特征定位智力，大幅提高了模子在长尾类别上的识别精度，性能晋升高出 6 个百分点。

Q：理思为什么要花这样大的元气心灵自研大模子，许多车企其实应用现存的大模子居品？

陈伟：从策略上来看，理思公司的方针是成为全球动身点的东谈主工智能企业，而大模子时期是 AI 的中枢智力，干系到智能化居品体验的要道。自研大模子能匡助咱们在时期革命和用户体验上更具主动性和上风。

从居品的角度看，理思同学旨在超越用户欲望，提供革命和高效的智能体验。自 2022 年以来，大模子和智能体时期飞速发展，但也充满了时期挑战和省略情趣。要在这些前沿领域抓续晋升居品力，就需要梗阻时期壁垒，并保抓快速迭代的智力。

理思公司从策略上承袭自研大模子，主张在于打造自主可控的全链路时期体系，以更高效、深度的产研协同推动体验革命。通过自有大模子" Mind GPT "，咱们粗略以用户体验为中心，达成快速迭代，确保理思同学在智能体验上的抓续动身点。

Q：面前理思自研的大模子规模有多大？

陈伟：Mind GPT 面前主要分为 Ultra、Pro 和 Nano 三个级别，其中 Ultra 千亿级、Pro 百亿级、Nano 十亿级，隐匿了端到云、浅易到复杂的大模子需求

Q：面前大模子的迭代速率尽头快，理思自研的大模子怎么跟上这个速率？

陈伟：面前大模子时期迭代的很快，咱们也在抓续跟进并识别可行的时期，快速应用到 Mind GPT 研发中，同期结合咱们的业务场景，咱们有我方的研发节律和干线，在模子层面，从 Mind GPT 2.0 驱动咱们依然切换到 MOE 架构，以此进行模子结构的革命和转换，大模子智力会放在多模态、学问增强、逻辑推理上，最近发表的论文也先容了咱们在这些方面的议论进展。

此外，咱们认为理思同学智能化水平的晋升，除了在大模子智力上抓续梗阻除外，智能体的谋划、纪念、用具、行动等时期的全面升级，才能构建自主性更强的组合智能，这个标的咱们也在重心议论，议论进展也会继续通过居品和论文的形态对外发布。

汽车的最终形态是智能体

Q：理思同学的终极方针是什么？

陈伟：咱们认为理思同学的进化会分为三个阶段，增强东谈主的智力，变成用户的助手，成为用户的家东谈主。成为用户的家东谈主会是理思同学的终极方针，对应到研发要作念的责任，要达成理思同学多模态智能体的全面梗阻，不错参考 OpenAI 对智能的分级程序，需要作念到从 L1 的 chatbot 到 L2 Reasoner，再到 L3 Agent 的时期演进。

Q：怎么具体联结理思同学的三个发展阶段？

陈伟： 这三个阶段体现了咱们不断舒服并超越用户需求的愿景。

第一阶段：增强用户智力   在初期，咱们但愿理思同学匡助用户更方便地用车。通过视觉和语音等多模态感知智力，达成当然高效的东谈主机交互。举例，用户不错解放使用方言或浅易提示，理思同学通过大模子 Mind GPT 联结和试验车控、导航等任务，晋升语音提示试验的准确性。比如，用户不错浅易说一句"我上车开空调播放音乐，下车都关掉"，理思同学会说明情境自动清除名务，感知到上车后启动空长入音乐，下车后自动关闭。这种方便的功能让用车体验更松弛高效。

第二阶段：成为用户的助手   在 Mind GPT 的支抓下，理思同学进化为用户的万能助手——包括用车助手、出行助手、文娱助手和百科安分。动作用车助手，它能回答对于车辆操作、气象查询、故障扼杀等问题；出行助手则不错为家庭旅游谋划阶梯，推选餐饮文娱，训诲一起文化；文娱助手能联网查询面目热门、明星动态，播放家庭深爱的音乐和影视；百科安分则涵盖庸俗的学问，从儿童的十万个为什么，到成东谈主关怀的科技资讯，理思同学在抓续成长的学问储备下，为家庭提供全场地的干事。

第三阶段：成为用户的家东谈主   跟着理思同学措置问题的智力增强，与用户的信任干系郑重加深，咱们但愿进一步建立情谊联接，最终成为家庭的数字成员。这个经由需要从信任到情谊，再到身份认同的历久构建。举例，通过声纹识别，理思同学已能识别每位家庭成员；跟着 Mind GPT 的纪念功能升级，咱们不断加强理思同学的个性化干事智力。在 24 年的屡次 OTA 更新中，理思同学更能基于对每位家庭成员的联结，主动提供个性化推选。这是咱们执意发展的标的，但愿理思同学得回更多家庭的认同与深爱。

Q：面前扫数行业，在大模子落地智能座舱方面的进展怎么？

陈伟： 2023 年咱们 Mind GPT 行业首发之后，2024 年行业许多公司都继续推出了接入大模子的语音助手，行业智能座舱智能化水平全体在快速晋升，大模子也成为了紧迫的卖点。 对咱们而言，咱们独一关怀的是基于 Mind GPT 的理思同学是否在信得过措置用户问题，是否抓续作念到超越用户需求，是否在时期和体验上是行业引颈的，作念好我方最紧迫。

Q：各家车企都在加速大模子的落地，那理思怎么打造差异化呢？

陈伟：咱们的差异化聚焦于时期革命，这粗略径直推动居品动身点。我对差异化的联结分为两个层面：

第一层面，对于行业内肖似的功能，咱们的时期和体验必须显耀超越。面前大模子的应用依然将 AI 助手从单一领域扩张到多元领域，咱们的方针是通过期期梗阻，将体验从"可用"晋升到"好用"。

举例，在推出 Mind GPT 前，许多公司承袭浅易地将大模子加入现存的任务型对话系统，以快速上线，但这种形态使用时会有割裂感。咱们认为用户应该感受到的是 AI 助手变得更智谋了，而不是需要操作切换。因此，咱们承袭了更难但正确的阶梯——将大模子融入对话系统，让"理思同学"一次升级，愈加智能。不需要切换操作的情况下，妙技从几十个快速加多到上千个。

第二层面，快速跟进前沿时期并转动为居品。大模子仍处于快速发展阶段。客岁大模子发布后，咱们判断"智能体"将是要道时期，因此猖獗激动筹商研发。

跟着 Mind GPT 2.0 上线，理思同学在大模子和智能体两方面都得到了升级，Benchmark 测试中的联结、生成、学问问答等智力晋升了 50% 以上，而推理本钱莫得加多。同期，咱们在智能体的谋划、纪念、用具使用和行动方面取得的阶段性效果也被飞速转动为理思同学的功能，这带来了更强的复杂问题谋划和外部用具联接智力，显耀晋升了多轮会话的见遵循。

理思同学会成为东谈主机交互的主要进口 | 图片着手：理思同学

AI 时期，说话团队变化最大

Q：大模子和端到端时期的到来，对组织架构有何影响？

陈伟：大模子时期的到来正在重塑研发模式，导致组织架构发生显耀变化。

在小模子时期，研发组织不异是基于专科时期标的设想的，举例语音、说话和视觉等。不同时期标的的模子选型相反，研发决策往往是多个小模子与业务逻辑相结合的级筹商统，各个标的之间的差异性较大，因此，各个时期标的零丁进行研发、评估和上线。

而在大模子时期，多个研发团队需要共同复古 Mind GPT 这样单一的大模子的研发和托福。研发决策从级筹商统升级为端到端的系统，研发团队不再按照时期标的进行组织，而是说明大模子的研发本领来鉴识。这包括 Mind GPT 的大模子预锤真金不怕火、后锤真金不怕火、智能体时期、评估和对都等标的，从而再行设想研发组织架构。

Q：理思同学在车内的比重会越来越大吗？

陈伟：会越来越大，大模子时期智能座舱的东谈主机交互形态会从触控式交互走向对话式交互，理思同学会成为东谈主机交互的主要进口，咱们已有的车机应用会原子化、平台化，复古理思同学具备更强的跨应用、高集成度的智力。

Q：多模态智能体面前发展到了哪个阶段？将来还有哪些挑战？

陈伟：咱们的多模态智能体正在从 Mind GPT 2.0 说话智能体向 Mind GPT 3.0 多模态智能体演进，面前行业研发的重心还所以多模态端到端大模子为主，多模态智能体的议论还较为早期。

我以为多模态智能体的梗阻取决于三件事： 1. 大模子逻辑推贤惠力的梗阻 2. 多模态尽头是语音、视觉和说话的对都 3. 用具类生态的修复。

Q：终末一个问题，外界对理思最大的诬陷是什么？你们会怎么报酬？

陈伟：其实谈不上诬陷，咱们更但愿通过居品与用户径直对话。因为对于理思座舱 AI 和自研时期的对外先容较少，全球对理思同学的时期进展和近况可能了解得并不充分。将来，咱们会加强与行业和用户的交流，增进全球对理思同学时期实力的了解。

在时期研发上，咱们永恒围绕" Mind GPT "大模子，竭力于打造多模态智能体的全栈自研时期。通过规模化的革命与梗阻，咱们但愿理思同学不仅是用户的助手，更成为作陪他们成长的家东谈主。这种作陪和成长，是咱们研发团队最大的成就与自重。

参考文件：

1、理思汽车 Mind GPT 论文《Q-MoE: Connector for MLLMs with Text-Driven Routing》被多媒体领域海外顶级会议 ACM MM 2024 委派。

2、理思论文《KG- Adapter:Enabling Knowledge Graph Integration in Large Language Models through Parameter-Efficient Fine-Tuning》，被 ACL（蓄意说话学协会年会，Annual Meeting of the Association for Computational Linguistics） 2024 收录。

3、理思论文《 Dual-prior Augmented Decoding Network for Long Tail Distribution in HOI Detection》，被 AAAI （Association for the Advancement of Artificial Intelligence云开体育，即东谈主工智能促进协会）收录。