随着新能源汽车和无人驾驶技术的发展，汽车行业正经历着历史性的变革机遇，这些技术将显著改变传统的驾驶习惯和能源格局。与此同时，许多知名及新兴的制造商也在积极推出相关的新能源汽车产品，包括纯电动汽车、插电式混合动力汽车和燃料电池汽车。

  纯电动汽车因其充电价格低、环保的驾驶方式和满足城市地区基本出行需求等方面吸引消费的人的关注。燃料电池汽车将氢燃料视为主要的能源形式，通过化学反应产生电力并驱动电动机，预计未来将成为商用车的主要选择。然而，目前技术受限大多分布在在电池安全性、耐久性和梯队利用方面，而氢的价格、制造和存储仍在一直在改进。混合动力汽车具有更为成熟的技术水平，能够完全满足长途驾驶、便捷充电/加油和节能减排的主要需求。因此，在能源类型由燃油向电能转变时，混合动力汽车可被视为良好的过渡阶段的产品，并且预计将长期占据特殊的比例的市场份额。

  能量管理策略是提高燃油经济性的核心技术之一。它致力于在满足基本的驾驶需求和动力系统约束的同时，通过合理分配多个动力源间的功率流来实现预期的优化目标。此外，部分成果也开始全面考虑混合动力系统中存在的更多影响因素，例如温度、老化与安全性。作为三个主要类别，基于规则的能量管理策略利用专家经验严格制定一套合理的功率流分配规则，基于优化的能量管理策略则采用各种优化算法将功率流分配转化为全局或瞬时优化问题，例如动态规划、庞特里亚金最小值原理、等效燃油消耗最小策略及模型预测控制等。然而，对于以上两类策略在适应性、计算效率和优化方面始终存在着某些固有缺陷。近年来，在围棋、电子竞技与无人驾驶等领域，强化学习取得了诸多成就，这导致强化学习智能体开始在能量管理策略及其他领域的采用。研究学者在开发强化学习智能体、创建复杂训练环境、整合更多种类的混合动力系统与解决强化学习智能体的缺陷等方面做出了许多贡献。就结果而言，通过试错式探索和利用的方式提出能量管理策略证明了其存在的应用潜力。虽然部分的综述通过对算法进行分类和描述基于强化学习的能量管理策略研究提供了见解，但本文旨在通过列举所有贡献并且借鉴个人研究经验呈现最新且最全面的研究综述。由于相比之下发展时间比较短，所以成果总数在可接受范围内，这使得列出和总结所有基于强化学习的混合动力系统能量管理策略成为可行方案。

  本文对基于强化学习的混合动力系统能量管理领域的研究现在的状况进行了最新并且全面的调查和综述。首先，以发展时间轴的形式追溯关于深度学习、强化学习和深度强化学习的发展史，重点介绍了里程碑式成果和相关的知名学者。接下来，重点针对强化学习算法在混合动力系统能量管理策略领域的研究现状展开调查与综述。截至2023年7月21日，收集了266篇相关研究成果，然后根据团队信息、年份、动力系统、强化学习算法以及主要贡献进行统计，并分别以图、表、文字的形式进行简要介绍，特别总结并强调了本领域内多数的研究贡献符合算法创新、动力系统创新以及环境创新的分类形式。最后，为推动强化学习算法在智能混合动力汽车的推广研究与可靠应用，本文展望了未来可能的部分研究规划，致力于通过整合无人驾驶与新能源汽车技术，以AI算法促进智能混合动力汽车的节能驾驶发展。

  自动驾驶技术和强化学习算法的进步为发展自主型智能混合动力汽车提供了可观的机遇，并能被命名为“Alpha HEV”，本文规划了一套通过强化学习实现完全接管的技术路线。

  首先，彻底摒弃后向仿真、粗糙的需求功率计算方式以及发动机、电池等组件的简单建模。不仅要加强对每个组件（如发动机、电机、电池、变速箱、离合器、制动器等）的建模，还应该改进整车模型。引入包括驾驶员在内的前向仿真，而车身应该具有更多的自由度，并且包括悬架、轮胎和车身等部件。这些改进使车辆能够更真实地对外部环境和内部系统做出响应，由此产生准确可靠的仿真结果。此外，对道路的建模方法也变得十分必要。从坡度、曲率和道路标志等基本特征开始，还应涉及更丰富的元素，如材料、老化和受天气影响的动态变化。

  然后，通过强化学习实现智能控制需要融合多模态信息。车辆的指令涵盖了广泛的功能，包括加速、制动、转向以及管理动力传动系统内的发动机和变速箱。复杂的控制有助于实现高效驾驶，并整合各种部件以实现更好的性能。借鉴Atari 2600中DQN的网络结构，混合动力汽车也可以从无人驾驶系统的视觉感知和高精地图受益。这涉及向强化学习智能体添加车辆视觉，使其可以通过导航行驶前方的路径。依靠车辆视觉和高精地图感知周围车辆并获取路径信息，最终目标是利用多智能体强化学习实现对所有受控部件的全面接管。

  最后，对感知、决策、规划和硬件计算能力等方面具有更加严格的要求。通过从特斯拉的自动驾驶系统中汲取灵感，由八个摄像头捕捉的实时图像构建一个三维感知空间，并且将该感知空间延伸到时间维度以确保对暂时遮挡的物体依然可以有效的进行准确感知。进而在规划并确定目标路径后，经过控制车辆以跟踪路线的同时管理动力传动系统。作为一个更加大胆的想法，致力于训练一个大型的强化学习智能体，让它既充当驾驶员又担任工程师，仅通过实时图像处理所有任务，并且将无人驾驶的感知和决策变成对驾驶环境和乘客需求的认知。虽然这个想法存在巨大挑战，但也将改变无人驾驶的技术体系。总之，在“Alpha HEV”中部署强化学习智能体取决于强大且复杂的端到端型自动节能驾驶算法。

  李深（本文通讯作者），于2018年获得美国威斯康星大学麦迪逊分校博士学位。现为清华大学助理研究员，研究方向最重要的包含智能交通系统、车路协同无人驾驶、交通大数据挖掘、交通运营与管理。担任国际期刊Communication in Transportation Research青年编委、世界交通运输大会(WTC)第三届学部委员会交通工程学部交通管理与出行服务学科智能驾驶出行服务技术委员会主席、交通行为分析与建模学科智能网联交通行为分析与管理技术委员会青年委员，中国公路学会自动驾驶工作委员会委员、中国仿真学会交通建模与仿真专委会委员。

  团队带头人长期专注于节能与新能源汽车能耗控制方面研究，在动力系统优化与设计、节能控制和智能汽车路径规划与决策等方面做了较为突出的研究，做出了较好的学术贡献。近年来面向制造强国与交通强国的重大需求，针对混合动力汽车节能难题，从结构设计与控制优化两方面出发，展开了机电耦合装置优化设计机理与能耗优化机制的关键科学问题研究，取得了一些研究工作，做出了具有一定影响力的学术贡献。

  [9]唐小林, 陈佳信, 高博麟, 等. 基于云控系统高精度地图驱动的深度强化学习型混合动力汽车集成控制[J]. 机械工程学报, 2022, 58(24): 163-177.

  JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。首任院长是中国机械工程学会监事会监事长、《机械工程学报》中英文两刊主编宋天虎。

  有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。

  感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！