Jsoup爬取数据设置代理IP

摘要:
最近,使用Jsoup对数据进行爬网时,我们发现当您在自己的计算机上多次爬网数据时,您会发现本地计算机无法连接,因为本地IP地址受到限制或阻止。因此,我还发现了一些数据,并发现在抓取数据时可以设置代理Ip,这样本地Ip就不会被阻塞=nu1l){bs.append;}//Jsoup解析从url Documentdoc=Jsoup.parse读取的字符串;

最近,使用Jsoup爬取数据发现有的网站当你用自己的电脑爬取数据,次数多的时候就会发现本地的电脑就会连不上,原因是本地IP被限制或者拦截了。

因此,自己也找了一些资料,发现爬取数据的时候可以设置代理Ip,这样就不会发生本地Ip被封掉的危险了。代码如下:

Jsoup爬取数据设置代理IP第1张
 

//设置代理Ip

System. getProperties(). setProperty(" proxySet", "true");

System . getProperties() . setProperty("http. proxyHost", "111. 155.116.200");   //代理Ip

System. getProperties(). setProperty("http . proxyPort", "8123");    //端口号

HttpURLConnection connection = (HttpURLConnection) new URL(href) . openConnection();

connection. setConnectTime000000000); //设置连接时间

connection. setReadTimeout(000000); //设 置读取时间

connection. setUseCaches(false);

InputStream is = connection. getInputStream();

//防止读取的数据有中文乱码,可以设置编码

BufferedReader buffer = new BufferedReader( new InputStreamReader(is, charsetName: "GBK" ) );

StringBuffer bs = new StringBuffer();

String 1 = nu1l;

while( (1=buffer . readLine())!=nu1l) {

        bs. append(1);

}

 / /Jsoup解析url读取到的字符串

  Document doc = Jsoup . parse(bs . toString());

免责声明:文章转载自《Jsoup爬取数据设置代理IP》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇如何搭建泰达币(USDT)钱包节点?如何在Google上下载高清原图下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Arduino---HC-05 蓝牙模块

蓝牙基础知识回顾: (一)Arduino和HC-05连接 注意:Arduino通过TX与HC-05进行通信,而Arduino的电压为5V,HC-05的允许电压为3.3V。短时间通信无妨(长时间可能烧毁HC-05)<接分压电路> U = 5*20/30 = 3.3V I = 5V/(10K+20K) = 0.16mA (二)Arduino和...

Hive 元数据库表信息

  Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。 1. 版本表   i) VERSION   -- 查询版本信息 2. 数据库、文件存储相关   i) DBS     -- 存储Hive中所有数据库的基本信息   ii) SDS    -- 存储Hive中文件存储的基本信息      3. 表、视图相关   i) ...

mssql 数据库 基本知识

数据库中禁用/启用标识列的自增长 SET IDENTITY_INSERT [ database_name . [ schema_name ] . ] table { ON | OFF } 恢复数据时要让标识列可以插入数据,必须设置上面的属性为ON -----------------------------------------------...

pandas数据框,统计某列或者某行数据元素的个数

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/sinat_38893241/article/details/80414977在《pandas数据框,统计某列数据与其他文件对应关系的个数》之后,我发觉简单版的元素个数统计问题没有说清楚,就在这里介绍...

com.alibaba.fastjson转换JSON数据后顺序与原JSON字符串顺序不一致原因分析

如果要实现转换前的数据顺序与转换后的数据顺序一致,可以使用如下方式: String array2 = "{'i':'2','b':'3'}"; JSONObject parseObject = JSON.parseObject(array2, Feature.OrderedField); 此时会使用LinkedHashMap,LinkedHashMap的...

【SQL Server学习笔记】通过加密来保护数据库中的数据

在SQL Server 2005引入了内建数据加密,通过系统函数、证书、密钥完成加密。 一、通过函数加密。 二、与通过证书授权实现的数字证书相似,SQL Server证书包括了公钥和私钥这一对密钥,是数据库级的安全对象,他们用来加密和解密数据。 三、SQL Server还拥有创建非对称密钥和对称密钥的能力。非对称密钥与证书相似,公钥用来加密数据库,私钥用来...