如果需要采集网站登录后显示的信息,可以尝试获取账号登录网站后的cookie值,填写到简数采集器登录采集。
获取与填写cookie信息操作步骤如下:
一、怎么获取cookie?
获取网站cookie的方式一般有以下两种:
方式1:通过浏览器来获取登录cookie
最简单的方法是通过现代浏览器来获取,以chrome为例:
1. F12或右键检查进入开发者模式界面;
2. 点击NetWork,F5重新加载页面;
3. 选择对应页面名称的html文件;
4. 获取cookie;
方式2:通过fiddler工具抓取cookie(可选)
通过fiddler工具抓取网站的cookie,相比较 “方式1通过浏览器获取“ 会比较麻烦,如果需要查看具体操作步骤,请查看本文最后的补充内容。
二、获取的cookie填写入简数
把获取的cookie信息拷贝到采集器中,再打开详情提取器加载即可查看到之前隐藏的内容;
简数采集器有两处入口可填写cookie:(填写其中一处即可)
I、点击 “启动 | 定时采集 ” ,在网络配置中填上相关信息;
II、详情提起器左侧列表的网络配置:
注意:如果还是无法显示登录后的内容,请在 “Cookie域名” 处填上对应域名,不用加上http协议,例如:www.keydatas.com
到此就完成采集网站登录的数据信息。
补充内容:
获取网站cookie方式2:通过fiddler工具抓取cookie
还可以使用fiddler工具来进行抓取;(如果已经使用浏览器获取cookie,可以跳过这一步,直接到第二步--获取的cookie填写入简数)
fiddler是介于客户端和服务器端的HTTP代理,也是常用的http抓包工具之一 。 它可以记录下客户端和服务器之间的所有HTTP请求,也可以针对指定的HTTP请求,进分析请求数据、设置断点、修改请求的数据,甚至还可以修改服务器返回的数据,功能十分强大,是网站调试的得力助手。
fiddler官网下载: https://www.telerik.com/download/fiddler
下载安装完成后,按照以下流程来操作:(本文章是基于Fiddler 4版本)
1. 右侧显示页面中先选择Inspectors栏;
2. 由于左侧显示页面已有许多访问网站的信息,我们接下先清空一下,方便接下来寻找指定的网页;
可以用快捷键ctrl+x或者在左侧显示页面右键Remove------>>all sessions;
3. 接下来登陆上需要抓取cookie的网站或者刷新已经登录的网页,就可以在左侧显示栏轻松找到网站的Host(网站域名)+ URL,以我这个
例子,选取的就是这一条,注意URL内容是斜杠 / 的那一条信息;
4. 右边显示栏选择raw栏,这时能看到获取的cookie了;
5. 为了获取完整的cookie,我们点击右侧显示栏中间的view in Notepad,即打开记事本来获取完整的cookie;