利用机器学习实现微信-《加减大师》自动答题.zip

之前有看到微信小程序《跳一跳》别人用python实现自动运行，后来看到别人用hash码实现《加减大师》的自动答题领取娃娃，最近一直在研究深度学习，为啥不用机器学习实现呢？不就是一个分类问题吗 如何实现自动答题微信小游戏《加减大师》？ **思考：** - 图像识别吗？ - 如何建立特征工程？ - 选用什么算法？ ### 一、图像特征工程 如何获取手机游戏上的图片？ - 使用adb命令截取手机屏幕； - 在PC端和手机端同时运行APowerMirror软件，将手机投屏到电脑上，然后使用Pillow包中的截图方法截取电脑上对应手机屏幕的 区域。 - 在PC端和手机端同时运行APowerMirror软件，将手机投屏到电脑上，然后使用Python调用windows的原生API截取电脑上对应手机屏幕的区域。 **实验结果：** 三种截屏方式花费的时间差异很大，第一种每次截屏需要0.7s左右，第二种0.3s左右，第三种0.04s左右。 当然选择第3种咯，下载地址[https://www.apowersoft.cn/phone-mirror]，一个好的软件是成功的关键（够清晰）。 #### 获取训练样本 相关步骤： > 1.`util.py`中的`shotByWinAPI`函数：首先利用window自带api获取全屏图片，然后自定义`config.py`的相关参数。 ``` # 从PC端截屏时，截取区域左上角相对桌面的x坐标 'projection_x': 32, # 从PC端截屏时，截取区域左上角相对桌面的y坐标 'projection_y': 278, # 从PC端截屏时，截取区域的宽度 'projection_width': 482, # 从PC端截屏时，截取区域的高度 'projection_height': 854, ``` 可以用window命令键`PrtScSysRq`(F12的右边)，然后复制到画图中（1920x1080）。  ------------------- 用画图的放大镜放大，图中红色框的小方块位置（32x278）`projection_x`即32，`projection_y`即278。  ------------- 在画图中计算出截图的宽度和高度，即`projection_width`和`projection_height`（482x854）  > 2.`img_tool.py`函数介绍：主要是通过`all(img, filename)`函数进行图片分割 ``` srcImg = cv2.imread(os.path.join("ScreenShotForTrain", f), 0) ``` 上述代码是为了将彩色图片灰度模式加载  ------------------------------------------ ``` def all(img, filename): """封装对图片的所有操作""" img = cropImg(img) img = binaryImg(img) img1, img2 = cropAgain(img) imgs = cutImg(img1, filename + '_1') + cutImg(img2, filename + '_2') return imgs def cropImg(img): """裁剪原始截图""" height = img.shape[0] img2 = img[int(config.config['exp_area_top_rate'] * height):int(config.config['exp_area_bottom_rate'] * height),:] #print('裁剪完毕') return img2 ``` `cropImg(img)`函数主要是为了裁剪含有数字的区域，通过设置参数 ``` #表达式区域的顶部处于整张图片的位置(307/854=0.359) 'exp_area_top_rate': 0.36, #表达式区域的底部处于整张图片的位置(478/854=0.559) 'exp_area_bottom_rate': 0.56, ``` 如果觉得设置比例太麻烦，可以直接写死位置(`img2 = img[int(307):int(478),:]`)。得到如下图：  ---------------- ``` def binaryImg(img): """二值化图片""" ret, thresh1 = cv2.threshold(img, config.config['binary_threshold'], 255, cv2.THRESH_BINARY) # ret, thresh1 = cv2.threshold(img, config.config['binary_threshold'], 255, cv2.THRESH_BINARY_INV) #print('二值化完毕') return thresh1 ``` `binaryImg(img)`函数主要是为了将图片二值化，可以参考 [Python+OpenCV教程6：阈值分割](https://www.jianshu.com/p/293e04f134c3)。得到的图片如下图：  ---------------------------------- ``` def cropAgain(img): """再次裁剪""" height = img.shape[0] img1 = img[0:int(0.5 * height), :] img2 = img[int(0.5 * height):height, :] #print('再次裁剪完毕') return img1, img2 ``` `cropAgain(img)`函数主要是为了将图片分成上下两部分   ---------------------------------- ``` def cutImg(img, filename): """水平分割图片""" sb = np.array(img) print(sb.shape) sum_list = np.array(img).sum(axis=0) start_index = -1 res = [] names = [] index = 0 for sum in sum_list: if sum > 255 * 4: if start_index == -1: start_index = index else: if start_index != -1: if config.config['type'] == 0: sigleCharWidth = config.config['abd_single_char_width'] else: sigleCharWidth = config.config['pc_single_char_width'] #为了防止字符粘连,需要在此处宽度进行判断 if index - start_index > sigleCharWidth * 2: res.append((start_index,start_index + (index - start_index) // 2)) res.append((start_index + (index - start_index) // 2, index)) else: res.append((start_index, index)) start_index = -1 index += 1 imgs = [] count = 0 for single_char in res: start = single_char[0] end = single_char[1] sub_img = img[:, start:end] sub_img = cv2.resize(sub_img, (120, 240), interpolation=cv2.INTER_CUBIC) #cv2.imwrite('SingleChar/%s_%d.png' % (filename, count), sub_img) #names.append('%s_%d.png' % (filename, count)) # cv2.imshow(str(count), sub_img) imgs.append(sub_img) count += 1 # cv2.waitKey() #print('分割，重新设置大小 %s 完毕' %filename) return imgs ``` 设置`pc_single_char_width`参数值，得到如下图：        ![image](https://note.youdao.com/yws/api/personal/file/F01B9F4D00B64BC29D171FF7AFE9008F?method=download&sha