java爬虫(六)分析AJAX接口获取网页动态内容

摘要:
1.实施原则2.在详细过程中,我们直接观察审查要素(检查)中的内容,以确定接口。在这里,我选择了一个动态网页来查看更多信息。直接单击并观察网络选项卡中的变化。在这里,我们可以通过查看更多内容看到网页加载了许多图像资源。对于第一个文件,检查它的Preview选项卡,我们可以看到这个文件存储json,然后通过Headers选项卡,可以看到它请求的URL。问题是:访问此链接时报告错误。有一个难题:单击父目录中的按钮访问页面可以生成信息。

1.实现原理

2.详细过程

这里我们直接观察审查元素(检查)中的内容来判断接口
java爬虫(六)分析AJAX接口获取网页动态内容第1张


这里我选取了一个动态网页的查看更多,直接点击在这里插入图片描述
然后观察network选项卡的变化
在这里插入图片描述
这里可以看到网页在无刷新的状态下,通过查看更多加载了很多图片资源,其中第一个文件,查看一下它的Preview选项卡,可以看到这个文件是存储json的java爬虫(六)分析AJAX接口获取网页动态内容第4张


然后通过Headers选项卡,我们可以看到它请求的URL,
 问题来了:访问这个链接报错

有一个困惑:从父目录中点击按钮访问某个页面可以产生信息。但是把这个链接单独拿出来在浏览器中访问就会报错如下图

 java爬虫(六)分析AJAX接口获取网页动态内容第5张

 java爬虫(六)分析AJAX接口获取网页动态内容第6张


这样我们可以遵循链接的规则,去做一下简单的请求在这里插入图片描述
既然数据被爬取下来了,我们就可以通过操作json的方法,去操作请求下来的数据,非常方便。
操作json文件

https://www.pianshen.com/article/9318874742/

参考 :https://blog.csdn.net/qq_41506882/article/details/104354521

免责声明:文章转载自《java爬虫(六)分析AJAX接口获取网页动态内容》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇golang 高效字符串拼接深入理解Spring Redis的使用 (一)、Spring Redis基本使用下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Java之lambda表达式

一、lambda表达式的写法 packagetest; //构造线程的两种方式:1、实现Runnable接口 2、继承Thread类 public classTest14 { public static voidmain(String[] args) { Thread thread = new Thread(newMyThrea...

接口自动化之接口整理(抓包)

  陆续在几个公司都有接触过接口测试,每个公司的接口测试需求都差不多。但是,项目的大小会影响接口测试任务的简繁。   涉及到TCP协议的接口,也涉及到http协议的接口。   前段时间,刚接到一个走HTTP协议的接口测试需求。   开发提供过来的接口如下: test:  1. get_list  a. url - subject_id / complian...

宝塔接口API

前言 宝塔是一款服务器管理软件,非常方便linux新手和运维人员使用。 为了实现自动化管理,我们需要调用宝塔的接口API。 接口API 以nodejs为例,其它语言可参考宝塔官方API文档 const md5 = require('md5'); (async () => { try { const BT_KEY = 'yo...

RESTFul API

目录 一、前言 二、获取所有数据 三、获取详情 四、新增数据 五、修改数据 六、删除数据 七、特性路由 (1) 基本路由映射 (2) 路由映射参数 (3) 多重特性路由 (4) 缺省参数路由 (5) 参数约束路由 (6) 通配符(*)路由变量 (7) 路由映射复杂参数 (8) 路由前缀 一、前言 RESTful API 是基于HTTP协议...

c语言处理通过ajax发起http的post请求CGI并向浏览器返会值

环境:centos 6.5 web容器:apache2.4,[<http://httpd.apache.org/docs/2.4/] 准备: cd /usr/local/httpd-2.4.20/modules/generators enter   cp mod_cgi.c /usr/local/apache/bin enter   ....

HIDL 概要

概述 HIDL:HAL interface definition langurage。描述HAL和用户之间的接口。接口可以是数据类型或方法。这些数据类型和方法组织在接口和包里。 HIDL也是软件之间的一个通信系统,为接口添加了binder机制。 HIDL描述的数据结构和方法签名组织在接口里,即.hal文件。HIDL语言的符号类似于C++和java语言,但...