爬虫 & 反爬虫 | \u 和 &#x 引起的一系列问题

目录   一、背景 1.1引出问题1 二、编码&解码区别 三、编码&解码测试 四、编码方向询问 五、解决问题 六、验证 参考文献： 一、背景 爬虫的朋友，也许或多或少都遇见过以下问题： 昨天晚上，一个朋友突然给我发上上面的截图，并询问： 1.1引出问题1 为什么解码不行？ 在此引入一篇文章《字符串和编码》 浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器： Unicode是什么？ Unicode不是编码格式，而是字符集。这个字符集包含了世界上目前所有的符号。 另外，在原来有些字符可以用一个字节即8位来表示的，在Unicode将所有字符的长度全部统一为