基于树莓派的智能小车：自动避障，实时图像传输，目标检测，网球追踪

# RaspberryCar An intelligent car based on Raspberry-Pi-3. （中文介绍请往后翻） ## Platform Raspberry-Pi-3 L298N Camera (CSI) Ultrasonic ranging sensor Infrared obstacle avoidance sensor Car (4 motors) ## Environment ### On Raspiberry Pi: python 3 RPi.GPIO opencv picamera tensorflow TensorFlow Object Detection API ### On PC: python 3 opencv ## Run ### Obstacle avoidance Based on ultrasonic sensor and infrared sensors. Enter the following commands in Pi Terminal: ``` cd PythonCode python3 main_obstacle_avoidance.py ``` Has been tested. ### Video recording & Video transmittion from Pi to PC Enter the following commands in Pi Terminal: ``` cd PythonCode python3 camera.py ``` Besides, if you want to watch the video from PC, then enter the following commands in PC Terminal: ``` cd PythonCode python3 pc_receiver.py ``` Has been tested. ### Lane tracking The car will drive along the lanes based on camera. Enter the following commands in Pi Terminal: ``` cd PythonCode python3 main_lane_tracking.py ``` Besides, if you want to watch the video with the detected lanes from PC, then enter the following commands in PC Terminal: ``` cd PythonCode python3 pc_receiver.py ``` ### Tennis Tracking The car will first detect the tennis based on its camera, then it will move to track the tennis. Enter the following commands in Pi Terminal: ``` cd PythonCode python3 main_tennis_tracking.py ``` Besides, if you want to watch the video with the detected result from PC, then enter the following commands in PC Terminal: ``` cd PythonCode python3 pc_receiver.py ``` ### Object Detection Based on TensorFLow Object Detection API, using the 'ssdlite_mobilenet_v2_coco_2018_05_09' pre-trained model. Enter the following commands in Pi Terminal: ``` cd PythonCode python3 main_object_detection.py ``` (NOTICE: TensorFlow Object Detection API and the ssdlite model are not contained in the repo. See here to install them [EdjeElectronics/Tutorial to set up TensorFlow Object Detection API on the Raspberry Pi](https://github.com/EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi#tutorial-to-set-up-tensorflow-object-detection-api-on-the-raspberry-pi)) *** ## 简介 本项目是学校项目设计课程内的项目，要求是使用一个基于树莓派的小车来实现一些简单的功能。 本项目适合初次接触树莓派，希望利用树莓派及小车配件实现一些简单功能的同学们。 目前我们实现的功能有： * 自动避障：基于超声波和红外，使小车在运行过程中不会撞上障碍物； * 实时图像传输：将树莓派摄像头拍摄到的视频流传到PC端，并在PC端查看； * 视觉车道循迹：基于视觉，使小车沿车道线行驶； * 目标检测：识别并定位摄像头图像中的各类常见物体； * 网球追踪：基于视觉，使小车追踪一个移动的网球，并与网球保持一定距离。 学校提供的小车的商家是[慧净电子](http://www.hlmcu.com/)，商家提供了一些使用教程，适合初学，基于C语言，实现了一些简单的红外避障、红外寻迹、超声波避障和摄像头调用。 本项目选用Python作为编程语言，有几点原因：Python相比较C语言更简明；我们对Python的掌握情况更好一些（C语言没学好啊）；方便之后使用tensorflow做一些深度学习的功能。但同时带来的缺点就是运行速度会差一点。 下面我们会对小车配置、功能实现和使用方法进行详细的介绍。本文结构如下： * 配置要求 * 项目架构 * 准备工作 * 硬件调试 * 功能实现（原理介绍） * 功能实现（使用教程） 若想成功实现本项目的功能，请: * 首先确保完成**准备工作** * 之后进行**硬件调试** * 之后在阅读过**功能实现-原理介绍**的基础上 * 根据**功能实现-使用教程**来运行相应程序、实现功能 ## 配置要求 * 树莓派3 * 驱动板（L298N） * CSI摄像头 * 超声波测距传感器 * 红外避障传感器 * 小车车体 + 4个电机 * 电脑 (Ubuntu18.04) ## 项目架构 我们的源代码全部放在PythonCode文件夹内。 我们对每个传感器定义了一个类，放在相应的py文件里，由此可以很清晰方便地对每个传感器进行单独的调试。 名称以main开头的文件是实现相应功能的主程序，在主程序里定义了一个Car类，该类继承了所有传感器的类。 ## 准备工作 ### 重装树莓派的系统 商家给树莓派预装了系统，应该是商家自己改过的，也是几年前的了。强烈建议自己将树莓派的系统进行重装（重装后opencv和tensorflow的安装都会简单很多），推荐安装树莓派的官方系统[Raspbian](https://www.raspberrypi.org/downloads/raspbian/)。安装方法百度一下，教程很多，也很简单。 关于树莓派教程，推荐[树莓派实验室|开箱上手必读](http://shumeipai.nxez.com/hot-explorer#beginner)，里面的教程基本准确好用。 ### 使用SSH登录，操作树莓派 对树莓派进行操作的方法有很多： * [连接鼠标键盘](http://shumeipai.nxez.com/2013/09/07/how-to-install-and-activate-raspberry-pi.html) * [使用远程桌面](http://shumeipai.nxez.com/2018/08/31/raspberry-pi-vnc-viewer-configuration-tutorial.html) * [使用PuTTY登录到树莓派](http://shumeipai.nxez.com/2013/09/07/using-putty-to-log-in-to-the-raspberry-pie.html) 我们基本上是使用SSH登录到树莓派进行操作的，也就是使用putty登录。这需要树莓派和PC在同一个局域网下，我们选择让树莓派创建一个WiFi热点，然后让PC连接这个WiFi热点。方法：[创建WiFi热点并开机自启动](https://github.com/Mingrui-Yu/Tutorials/blob/master/Rapberry_Pi/%E5%88%9B%E5%BB%BAwifi%E7%83%AD%E7%82%B9%26%E5%BC%80%E5%90%AFSSH%26putty%E8%BF%9E%E6%8E%A5.md#pi3-%E5%88%9B%E5%BB%BAwifi%E7%83%AD%E7%82%B9--%E5%BC%80%E5%90%AFssh--putty%E8%BF%9E%E6%8E%A5)，其中使用了github上一个开源的库create_ap。同时，还要设置热点开机自动启动。另外注意要设置[开启树莓派的SSH服务](https://github.com/Mingrui-Yu/Tutorials/blob/master/Rapberry_Pi/%E5%88%9B%E5%BB%BAwifi%E7%83%AD%E7%82%B9%26%E5%BC%80%E5%90%AFSSH%26putty%E8%BF%9E%E6%8E%A5.md#%E5%BC%80%E5%90%AFssh%E6%9C%8D%E5%8A%A1)，否则putty连接会显示失败。 ### OpenCV安装 使用最新版树莓派系统，可以直接用pip3安装OpenCV。 ## 硬件调试 首先需要确定树莓派、驱动板、传感器之间的连线是正确的。 ### 电机 * 工作原理 * H桥 * PWM 电机相关代码在move.py内。需要注意GPIO端口号的设置，python用的是BCM编码。  在move.py中，定义了前进、后退、左转、右转、停车功能。转弯是通过左右轮差速实现的。 ### 超声波测距传感器 * 超声波测距基本原理 * 超声波测距程序实现 * 提升测距准确性的方法 超声波相关代码在ultrasound.py内，实现了超声波测距和对测距进行移动平均来减小误差。 ### 红外避障传感器 红外避障相关代码在infrared.py内，InfraredMeasure函数是小车左右的两个红外避障传感器，TrackingMeasure是小车底部两个红外寻线传感器。 注意，红外避障传感器传回0表示前方有障碍物，传回1表示前方无障碍物。 ### 摄像头 调用摄像头需要先在``` sudo raspi-config ```中启用Camera，然后重启。 python调用摄像头有两种方式： * 使用picamera * 使用opencv 我们使用的是picamera方式，因为我们发现使用OpenCV的方式会有延时，它返回的第一帧图像是在镜头初始化那一刻的图像，而不是主程序请求时的图像。 具体调用方法参考 [树莓派（Raspberry Pi）中PiCamera+OpenCV的使用](https://blog.csdn.net/u012005313/article/details/70244747#C0)。 摄像�