网络爬虫之Url含有中文如何转码
一:背景
今天在使用Jsoup对一个网站进行数据爬取,发现爬取内容为该搜索结果是0条,请求头啥的都填好,利用Chrome开发者工具发现请求Url路径不含中文,抱着试一试的态度,我复制此段非中文参数进行请求,惊喜发现爬取结果正确!
二:解决方法
手动对中文参数进行编码
Java
String data = java.net.URLEncoder.encode("中文参数", "UTF-8");另外与之对应的解码为
Java
String data = java.net.URLDecoder.decode(data, "UTF-8");