解决Python3 抓取微信账单信息问题

解决解决Python3 抓取微信账单信息问题抓取微信账单信息问题

主要介绍了Python3 抓取微信账单信息,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下

这段时间有个朋友想导出微信里面的账单信息，后来发现微信的反爬虫还是很厉害的，花了点时间去分析。

一、采用传统模拟一、采用传统模拟http抓取抓取

抓取的主要URL:https://wx.tenpay.com/userroll/userrolllist，其中后面带上三个参数，具体参数见代码,其中exportkey这参数是会过期的，userroll_encryption和userroll_pass_ticket 这两个参数需要从

cookie中获得，应该是作为获取数据的标识，通过抓包也看不出端倪，应该是微信程序内部生成的，如果使用微信开发着工具登录后直接访问网址有的时候可以访问返回数据，但是只是在较短的时间内

有效，而且当返回会话超时后，继续使用网页访问就会被限制，一直提示会话超时，应该是在网页和移动端中exportkey有不同的时间和访问次数的限制。

之后想通过破解seesion的方式，研究了一下，发现这是不可能的，想要破解session需要搞定wx.login，而wx.login是微信提供的，想要破解难度应该不用我说了。

代码写的不是很好，若有错误还望各位大大指正。

# coding:utf-8

import datetime

import time

import urllib

import urllib.request

import json

import sys

import io

import ssl

def __init__(self, url=""):

self.url = url

self.dbController = DBController() # 数据库控制

self.userroll_encryption = "uoxQXsCenowxj0G0ppRKBg8iHRPZwZKaUZB0ka1Y5apUuQnKkZTsA/2RMhBPGyMdiHS8QXk8y2JeLgqTPqZPU9fkrCUp+TIQPkHH/uExAwKeBFLute0ztdHaC6GJUJ2+/R8NGWGe16hSKc6L1+LvAw=="

self.userroll_pass_ticket = "V7oum4glDbdaAwibC8mcuTizGIKmC9A/Y/V12qASuDALdRMveHcRHv1QXamFk27Z"

# self.last_bill_id = ""

# self.last_bill_type = ""

# self.last_create_time = ""

# self.last_trans_id = ""

self.last_item = {}

try:

# print(self.token)

header = {

"Accept": 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

"Accept-Encoding":'gzip, deflate, br',

"Accept-Language":'zh-CN,zh;q=0.8',

"Cache-Control":'max-age=0',

"Connection": "keep-alive",

"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Mobile/14C92 Safari/601.1 wechatdevtools/1.02.1810240 MicroMessenger/6.5.7 Language/zh_CN webview/15415760070117398 webdebugger port/32594",

"Cookie":"userroll_encryption="+self.userroll_encryption+"; userroll_pass_ticket="+self.userroll_pass_ticket,

break

except urllib.error.HTTPError as e:

if tryNum < (maxTryNum - 1):

print("尝试连接请求" + str(tryNum + 1))

# host = self.host2

time.sleep(5)

else:

print('Internet Connect Error!', "Error URL:" + url)

goon = False

break

print("--------------------------")

return obj

#保存到数据库

def save_info_to_db(self, item):

select_sql = "SELECT count(*)as num FROM wx_order2 where trans_id = '%s'" % (item["trans_id"])

results = self.dbController.ExecuteSQL_Select(select_sql)

if int(results[0][0]) == 0:

sql = "INSERT INTO wx_order2 (bill_id, bill_type, classify_type, fee, fee_type, out_trade_no, pay_bank_name, payer_remark, remark, order_time, title, total_refund_fee, trans_id,fee_attr) VALUES ( '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s','%s','%s')" % (

str(item['bill_id']),

str(item['bill_type']),

str(item['remark']),

str(item['order_time']),

str(item['title']),

str(item['total_refund_fee']),

str(item['trans_id']),

str(item['fee_attr'])

)

# print(sql)

try:

self.dbController.ExecuteSQL_Insert(sql)

res_obj = self.get_html(url)

this_page_num = 0

#若返回的ret_code== 0 则说明获取数据成功