环境预测模块作为决策规划控制模块的直接数据上游之一，其主要作用是对感知层所识别到的物体进行行为预测，并且将预测的结果转化为时间空间维度的轨迹传递给后续模块。通常感知层所输出的物体信息包括位置、速度、方向等物理属性。
利用这些输出的物理属性，可以对物体做出“瞬时预测”。环境预测模块不局限于结合物理规律对物体做出预测，而是可结合物体和周边环境以及积累的历史数据信息，对感知到的物体做出更为“宏观”的行为预测。例如在图2中，通过识别行人在人行道的历史行进动作预测出行人可能会在人行道上穿越路口，而通过车辆的历史行进轨迹可判断其会在路口右转。
图2 环境预测示意图
行为决策模块
行为决策模块在整个自动驾驶决策规划控制软件系统中扮演着“副驾驶”的角色。这个层面汇集了所有重要的车辆周边信息，不仅包括了自动驾驶汽车本身的实时位置、速度、方向，还包括车辆周边一定距离以内所有的相关障碍物信息以及预测的轨迹。行为决策层需要解决的问题，就是在知晓这些信息的基础上，决定自动驾驶汽车的行驶策略。
由于需要考虑多种不同类型的信息，行为决策问题往往很难用单一的数学模型来求解，而是要利用一些软件工程的先进理念来设计规则引擎系统。例如在DARPA挑战赛中，Stanford的无人车系统利用一系列cost设计和有限状态机来设计无人车的轨迹和操控指令。现阶段马尔可夫决策过程的模型也开始被越来越多的应用于自动驾驶系统行为层面的决策算法实现当中。简而言之，行为决策层面需要结合环境预测模块的结果，输出宏观的决策指令供后续的规划模块去更具体地执行。