深度学习由于其强大的非线性拟合能力，已经被广泛应用于无人驾驶控制器训练领域． 然而，由于其训练过程需要大量标注数据，耗费大量人力物力，且人为采集的数据很难覆盖危险工况，导致训练的模型泛化能力较差，影响了深度学习控制器的性能提升．本研究提出一种从虚拟世界采集样本，将训练模型向真实世界泛化的端对端卷积神经网络( CNN) 控制器训练框架． 为缩小虚拟和真实世界的差距，本研究以语义分割图像作为媒介，将虚拟和真实图像分别转化为语义分割图像用于训练和测试． 结果表明，虚拟到现实训练得到的控制器可以较好地跟随道路变化趋势，经权值微调后预测输出与人类驾驶员操作相近，最大平均绝对误差和均方根误差分别为1． 693 9°和2． 885 0°，平均绝对百分比误差在5%以内．
