更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】playwright/selenium绕过反自动化/爬虫检测最新方案
    原理:是通过在页面加载之前注入js脚本,抹去navigator.webdriver等浏览器自动化特征。
    使用的这个js脚本(stealth.min.js)来源于Github上的puppeteer-extra-plugin-stealth项目(A plugin for puppeteer-extra and playwright-extra to prevent detection.)。

    playwright的示例:
    context.add_init_script(path='stealth.min.js')
    page = context.new_page()
    page.goto("https://bot.sannysoft.com/")

    selenium的示例:
    driver = webdriver.Chrome()
    with open('stealth.min.js', 'r') as f:
    js = f.read()
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': js})

    效果检验:
    1. 第一个检验标准,是看是否还会爆出navigator.webdriver等特征,可以直接在控制台查看,也可以通过访问https://bot.sannysoft.com/来查看。例如附图1是未做绕过处理时的截图。
    2. 第二个检验标准,是尝试登录淘宝,看能否成功。如果未做绕过处理,会出现滑块验证码,而且是无法正常处理的那种,无法登录成功。如附图2所示。

    经过测试,上述两项检验标准均通过:即没有爆出navigator.webdriver等特征,也可以成功登录淘宝,不出现滑块验证码。

    另附stealth.min.js的下载地址:
    http://www.site-digger.com/uploads/stealth.min.js
    发布时间:2022-08-10 11:05:15
  • 【经验分享】miller以XTAB格式查看字段内容较多或者字段较多的CSV文件
    示例:mlr --icsv --oxtab --from mouser_products_202208.csv head -n 3
    官方文档:https://miller.readthedocs.io/en/latest/file-formats/#xtab-vertical-tabular

    效果如附图所示。 ​​​
    发布时间:2022-08-10 10:26:30
  • 【分享】"CZ88纯真IP库20220420版" - MySQL版(52万条)免费下载

    数据说明:
    基于”QQ纯真IP库20220420版”转换的MySQL版本,共计529,985条。添加的数字格式的IP段起始和终止字段,可以通过该数据快速查询出某IP的归属国家、位置信息。

    字段说明:
    `ip_start_num` – 起始IP,数字类型(根据ip_start转换)
    `ip_end_num` – 终止IP,数字类型(根据ip_end转换)
    `ip_start` – 起始IP,字符串类型
    `ip_end` – 终止IP,字符串类型
    `country` – 所属国家
    `location` – 所在位置

    用法举例:
    (1)先将待查询IP转为数字类型。例如:
    ip_num = struct.unpack(‘!I’, socket.inet_aton(ip))[0]
    (2)查询”ip_start_num <= ip_num and ip_end_num >= ip_num”的记录,例如SQL语句:
    sql = ‘SELECT country FROM ips WHERE ip_start_num <= %s AND ip_end_num >= %s;’.format(ip_num, ip_num)

    示例数据:
    http://db.site-digger.com/csv/637a38385f6970735f32303232303432305f73616d706c65/

    下载链接:
    http://www.data-shop.net/2014/08/cz88-free-ips-database-20220420-mysql-version-52w/

    应用举例:
    如附图2所示,是使用该数据实现的IP地址归属地查询API。
    发布时间:2022-08-02 12:34:26
  • 【经验分享】一例Squid http认证异常问题的排查
    背景:
    (1)Squid配置的HTTP代理。使用external_acl_type自定义acl脚本进行ip和用户名密码认证,acl通过的放行,否则deny。
    (2)Playwright设置带用户名密码认证的http代理(上述Squid)代理。

    问题:
    curl命令或者requests库测试均工作正常,但是Playwright始终报 NS_ERROR_PROXY_FORBIDDEN错误。

    排查:
    用curl -v命令测试用户名密码不对或者为空情况下squid的返回,如下图所示,返回的是403状态码。意识到问题的所在了,对于浏览器来说,只有当服务端返回407状态码时,才会启用HTTP Proxy Basic Auth认证。此时返回403直接中断了后续认证流程。

    解决:
    自定义的external_acl_type之后,在http_access deny all之前,加入acl auth_user,让其在external_acl_type的ACL匹配失败的情况下能够返回407状态码。

    延伸:
    如何让“浏览器一开始就带上Proxy-Authorization头,这样就能直接通过认证,减少一次407的返回,提高效率。就像request库一样”? 经过测试发现使用一些代理插件,例如SwitchyOmega,可以实现。
    发布时间:2022-06-23 10:58:25
  • 【经验分享】利用HAProxy Runtime API的"set server"命令可以动态修改Haproxy的Backend server。
    例如 将Backend "backendout"的 Server "server1"的地址修改为115.209.110.181,端口修改为32603,执行如下命令即可。
    echo "set server backendout/server1 addr 115.209.110.181 port 32603" | socat stdio tcp4-connect:127.0.0.1:9999

    有两个前提:
    (1)HAproxy 2.0以后的版本才支持 Runtime API。
    (2)在配置文件里要开始 Runtime API的端口。如下配置示例,在9999端口开启Runtime API。
    global
    stats socket ipv4@127.0.0.1:9999 level admin

    详细用法可以参见官方博客里的示例,链接为https://www.haproxy.com/blog/dynamic-configuration-haproxy-runtime-api/
    发布时间:2022-05-22 16:22:21
  • 【经验分享】linux下如何检测某个网口下有ADSL拨号设备信号?
    用途:检测拨号设备是否工作正常,或者网口与拨号设备的连接是否正常。
    方法:可以使用"pppoe-discovery -I eth1"命令,eth1修改为具体要检测的网口。如果对应网口和拨号设备连接正常,将会返回BAS的名称和IP。
    文档连接:https://www.systutorials.com/docs/linux/man/8-pppoe-discovery/

    如附图所示,为分别在连云港联通、南京电信、南昌电信拨号环境下做的测试。
    发布时间:2022-05-10 19:10:47
  • 【经验分享】如何查看客户通过web隧道访问了什么网站?
    Web隧道内传输的数据通常是经过ssl加密的,如何通过抓包查看客户访问了什么网站呢?我们知道Web隧道的建立离不开HTTP的CONNECT方法,因为只要我们过滤CONNECT关键词就能拿到客户连接的目标网址。
    例如,我们通过ngrep进行包过滤,锁定Web隧道服务的端口(本例为65002)
    sudo ngrep -d ens3 -W byline -N -t -q CONNECT port 65002
    PS:ens3 是网口。结果如附图所示。
    发布时间:2022-05-10 16:58:59
  • 【经验分享】如何计算阿里系Ajax请求中的sign签名?
    有过阿里系采集经验的开发者都应该知道,某宝(天猫)H5版、1688、某宝司法拍卖H5版等阿里系网站,在Ajax请求中都会有一个sign签名参数(如下图1、2、3所示),要是值不正确将无法获取到有效的数据(例如返回“非法请求”提示)。如果我们无法构造出有效的sign,就只能通过“模拟浏览器操作”的方式来绕过签名验证,再结合"mitmproxy动态抓包脚本"来提取返回数据,这种方案效率太低,而且很不灵活。本文将介绍如何计算这个sign值以及给出对应的Python实现,这样就能实现通过直接HTTP交互抓取数据。点击链接查看详情>>> http://www.site-digger.com/html/articles/20211018/851.html

    •  
    发布时间:2021-10-18 14:59:23
  • 【经验分享】接上一篇:Android APP内置WebView如何获取当前加载的URL(方法二)?
    这次是直接HOOK android.webkit.WebView类的loadUrl()方法,可以直接得到加载的URL。同时也可以再loadUrl()内调用setWebContentsDebuggingEnabled(true)开启远程调试。效果如附图所示,这是某宝APP内嵌的H5页面,成功获取到了URL并且在inspect中能看到对应的WebView窗口(开启该WebView的远程调试成功)。

    // 查看WebView加载的URLs并启动远程调试
    Java.use("android.webkit.WebView").loadUrl.overload("java.lang.String").implementation = function (s) {
    console.log('WebView.loadUrl():' + s);
    console.log('Set webview DebuggingEnabled!');
    this.setWebContentsDebuggingEnabled(true);
    this.loadUrl.overload("java.lang.String").call(this, s);
    };
    发布时间:2022-05-06 13:31:47
  • 【经验分享】Android APP内置WebView如何获取当前加载的URL?
    (1)使用Firida强制其开启WebView的远程调试,以某司法拍卖APP为例,执行如下代码后。
    Java.perform(function() {
    var WebView = Java.use("com.uc.webview.export.WebView");
    WebView.setWebContentsDebuggingEnabled(true);
    }
    );
    (2)通过adb forward命令把WebView的Unix域套接字映射为本地端口,详细步骤可参见我们的这篇文章http://www.site-digger.com/html/articles/20220414/860.html
    (3)通过WebView的远程调试接口即可看到当前Tab的JSON数据,如附图所示,其中就有URL信息。
    发布时间:2022-05-06 13:04:25
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2022-01-15 13:50:10
    【经验分享】发现一个功能超强的CSV分析处理工具miller,分享一下
    它是基于命令行的,项目主页地址:github.com/johnkerl/miller

    下面拿一个360万行左右的CSV文件小试牛刀:

    1. mlr --icsv --ojson head -n 2 meituan_waimai_shops_202108_v1_2.csv
    解释:以JSON格式展示指定CSV文件的前两条记录,类似的还支持tail -n(查看文件最后几条记录)。如附图1所示。

    2. mlr --icsv --ojson filter '$id=="8388644"' meituan_waimai_shops_202108_v1_2.csv
    解释:筛选出CSV文件中id列为"8388644"的记录,以JSON格式展示。如附图2所示。

    3. mlr --icsv --ojson cut -f 'id,city,name,address,phone,lng,lat' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
    解释:从CSV中截取部分字段,然后显示前3条记录。如附图3所示。

    4. mlr --icsv --opprint count-distinct -f "city" then sort -nr count meituan_waimai_shops_202108_v1_2.csv
    解释:统计"city"字段每种取值对应的数据条数,本例目的是统计每个城市里对应的外卖店铺数量。如附图4所示。

    5. mlr --icsv --ojson filter '$comment_number!=""' then sort -nr 'comment_number' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
    解释:过滤掉CSV中comment_number为空的记录,然后按照comment_number数值从大到小排序,然后以JSON格式显示前三名。如附图5所示。

    PS:
    --icsv --ojson 可简写为 --c2j。
    --icsv --opprint 可简写为 --c2p 。

    更多用法详见教程:
    https://miller.readthedocs.io/en/latest/
    https://miller.readthedocs.io/en/latest/10min/
    guillim.github.io/terminal/2018/06/19/MLR-for-CSV-manipulation.html

    编译好的程序下载路径:
    github.com/johnkerl/miller/releases/tag/v6.0.0(有Windows版,看这里介绍https://miller.readthedocs.io/en/latest/miller-on-windows/

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2022-01-14 18:25:57
    【经验分享】用"sudo update-rc.d squid remove"命令禁用了squid服务自启动之后,如何恢复?
    方法:sudo update-rc.d squid defaults
    参考:github.com/FoldingAtHome/fah-issues/issues/1193、blog.csdn.net/typ2004/article/details/38712887 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-12-03 17:08:07
    【经验分享】分享几个MuMu模拟器官方未公开的API接口

    背景:夜神Nox模拟器提供了一个命令行工具NoxConsole.exe,通过这个工具可以实现模拟器启动、退出、重启、修改GPS坐标、修改IMEI等功能。但是MuMu模拟器没有提供类似的工具,如何实现上述这些自动化操作呢?

    1. 一个思路就是模拟操作UI。例如,模拟鼠标点击进入设置,进行参数修改。但是这样效率比较低,容易受到其它程序的影响导致失败,而且实现起来繁琐。
    2. 一个偶然的机会,在查看MuMu模拟器的log.txt(C:\Program Files\MuMu\emulator\nemu\EmulatorShell\log.txt)时,发现MuMu模拟器在进行设置保存操作的时候是通过调用本地API的形式实现的。通过进一步抓包和测试,确认了有如下接口可用(官方未公开)。

    (1)重启MuMu模拟器。
    POST /v1/tools/os HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Cache-Control: no-cache
    Accept-Encoding: gzip, deflate
    Content-Length: 29

    {
    "action": "shutdown"
    }

    (2)修改IMEI、IMSI、SERIALNO。

    POST /v1/tools/prop HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Accept-Encoding: gzip, deflate
    Content-Length: 460

    {
    "action": "set",
    "params": {
    "prop_array": [
    {
    "prop_key": "nemud.device.id",
    "prop_value": "980000000078158"
    },
    {
    "prop_key": "nemud.device.imsi",
    "prop_value": "460021361018124"
    },
    {
    "prop_key": "nemud.device.sim.serialno",
    "prop_value": "10647150041526731799"
    }
    ]
    }
    }

    (3)获取已安装的应用列表,如附图所示。
    GET /v1/apps HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Accept-Encoding: gzip, deflate

    需要注意的是API的端口在不同电脑上不一样(我本地电脑上是6667,在另外一台电脑上是17002),实际值的可以通过读取log.txt文件获取。另外,应该还有其它有用的接口,可以通过抓包自行分析。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-13 14:10:48
    【总结备忘】socks5 UDP ASSOCIATE(UDP转发)过程
    1. Socks5认证。关于认证的详细过程可以看这篇文章https://juejin.cn/post/6844903923518537741,这里不是重点。

    2. 发送请求连接命令。
    (1)客户端发送CMD值为0x03(UDP ASSOCIATE)的命令。如图1所示(rfc1928截图)。
    (2)服务端应答情况一:如果S5服务器不支持UDP ASSOCIATE,返回的REP值为0x07,表示"Command not supported"。如图2所示。借此可以用来检测Socks5代理是否支持UDP转发。
    (3)服务端应答情况二:如果S5服务支持UDP ASSOCIATE,则返回的REP值为0x00,表示"succeeded"。并返回BND.ADDR 和 BND.PORT,这是S5服务器给客户端准备的UDP转发地址和端口,即S5服务器会监听BND.ADDR 和 BND.PORT来接收客户端的UDP数据。接下来客户端的UDP需要发往BND.ADDR 和 BND.PORT,此后就走UDP协议了,不再使用之前建立的TCP连接。
    3. 客户端将要发送的数据加上一个Socks5 UDP协议头(含DST.ADDR和DST.PORT,如图3所示)后,发送给BND.ADDR 和 BND.PORT,代理服务器接收到后,去掉Socks5 UDP协议头,将真正的数据转发给DST.ADDR和DST.PORT。
    4. 代理服务器在接收到目标主机的应答数据后,加上一个Socks5 UDP协议头,转发给客户端。
    图4是从网上找的,非常清楚地展示了Socks5 UDP ASSOCIATE的整个过程。

    如何测试一个S5是否支持UDP转发呢?
    找了一下,似乎没有特别好的工具:
    (1)github上有一个Python脚本udpchk.py(网址:github.com/semigodking/socks5chk/blob/master/udpchk.py),不过用起来不方便。
    (2)另外,还有SSTap软件自带的代理检测功能可以实现UDP转发测试,试了一下效果如图5和图6所示,一个是支持UDP转发的S5测试,一个是不支持的测试。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-13 09:37:01
    【经验分享】推荐一款大CSV文件查看器csviewer
    官网地址:https://csviewer.com/ 据说最大支持5亿行的CSV文件。
    我没试过那么大的,试了一个“安居客2021年的二手房小区数据”,约73万条(行),508MB(http://www.data-shop.net/2021/11/%e5%ae%89%e5%b1%85%e5%ae%a22021%e5%b9%b4%e6%9c%80%e6%96%b0%e5%85%a8%e5%9b%bd%e4%ba%8c%e6%89%8b%e6%88%bf%e5%b0%8f%e5%8c%ba%e6%95%b0%e6%8d%ae%ef%bc%8873%e4%b8%87%e6%9d%a1%ef%bc%89/),加载耗时18秒,界面如下图所示。 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-04 09:36:25
    【经验分享】如何在Linux虚拟机里探测虚拟化(软件)的类型?
    使用virt-what命令即可实现,ubuntu下可用直接apt-get去install。

    我分别拿手边的下列机器做了测试:
    1. 物理机,如图1,物理机没有输出任何信息。
    2. 自己配置的Vmware、ESxi虚拟机,如图2和3所示,被识别为vmware。
    3. 自己配置的Hyperv虚拟机,如图4所示,被识别为hyperv。
    4. 自己配置的KVM(QEMU)虚拟机,如图5所示,被识别为kvm。
    6. 分别在阿里云、腾讯云、亿速云也做了测试,如图6、7、8所示,均识别为kvm;

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-02 10:16:20
    【经验分享】关于彻底关闭Nox模拟器虚拟机
    背景: 命令行关闭Nox虚拟机可以使用"NoxConsole.exe quit <-name:nox_name | -index:nox_index>", 但是有时候会失败。
    这里采用一种保险的思路,先调用"NoxConsole.exe quit"进行安全关闭,若干秒后检测虚拟机对应虚拟机的Nox.exe进程(考虑到多开的情况,根据"-clone:"参数判断是否属于当前虚拟机实例)和NoxVMHandle.exe进程(考虑到多开的情况,根据"--comment"参数判断是否属于当前虚拟机实例)是否还存在,如果存在就强制终止这两个进程,达到彻底关闭的目的。

    完整实现如下图所示。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-10-18 14:59:23

    【经验分享】如何计算阿里系Ajax请求中的sign签名?
    有过阿里系采集经验的开发者都应该知道,某宝(天猫)H5版、1688、某宝司法拍卖H5版等阿里系网站,在Ajax请求中都会有一个sign签名参数(如下图1、2、3所示),要是值不正确将无法获取到有效的数据(例如返回“非法请求”提示)。如果我们无法构造出有效的sign,就只能通过“模拟浏览器操作”的方式来绕过签名验证,再结合"mitmproxy动态抓包脚本"来提取返回数据,这种方案效率太低,而且很不灵活。本文将介绍如何计算这个sign值以及给出对应的Python实现,这样就能实现通过直接HTTP交互抓取数据。点击链接查看详情>>> http://www.site-digger.com/html/articles/20211018/851.html

    •  

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-10-09 11:40:29
    【经验分享】mysqldump时的两点技巧
    (1)如何避免锁表?
    加上--single-transaction=TRUE参数即可。
    来源:https://stackoverflow.com/questions/104612/run-mysqldump-without-locking-tables
    (2)如何排除某张表?例如 避免导出尺寸太大的日志表。
    使用--ignore-table=dbname.tablename指定即可,如果要排除多个,加上多个--ignore-table=dbname.tablename参数。
    来源:https://www.cnblogs.com/rxbook/p/7735485.html

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-08-15 13:48:07
    【经验分析】urllib2使用"User-Agent"设置UA会无效原因的分析

    (1)如下代码,尝试使用"User-Agent"设置UA为"test",会失败:
    服务端接收到的UA信息为"Python-urllib/2.7",而不是"test"。
    urllib2.build_opener().open(urllib2.Request(url='http://192.168.1.200:1234', data=None, headers={'User-Agent': 'test'}))
    (2)将headers修改为{'User-agent': 'test'},成功。
    如附图1所示。原因是什么呢?

    可以在urllib2.py中找到答案:
    (1)首先urllib2默认会在headers列表中添加一个“User-agent”,其值为"Python-urllib/%s" % __version__,如附图2所示。
    (2)在do_open()中对headers进行了规范化处理(.title()),代码如下。
    headers = dict((name.title(), val) for name, val in headers.items())
    如图3所示,我们在该句前后分别打印headers,处理之前为:
    {'Host': '192.168.1.200:1234', 'User-Agent': 'test', 'Connection': 'close', 'User-agent': 'Python-urllib/2.7'},里面有我们设置的'User-Agent': 'test'
    处理之后就变成下面了:
    {'Host': '192.168.1.200:1234', 'Connection': 'close', 'User-Agent': 'Python-urllib/2.7'}
    原因是后面的'User-agent'经过.title()后也会变'User-Agent',在字典中覆盖掉了我们自定义的值。

    以后使用urllib2要设置UA时,一定要用“User-agent”,而不能用“User-Agent”!

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-08-15 13:17:33
    【经验分享】在分析别人代码的时候,通过打印调用栈可以帮助我们快速掌握调用函数的上下文调用逻辑。Python中如何打印调用栈呢?如下。
    import traceback
    traceback.print_stack()
    参考>>> https://stackoverflow.com/questions/1156023/print-current-call-stack-from-a-method-in-python-code
    例如,我们想知道httplib.py中_send_request()函数的调用上下文,在_send_request()中加入上述代码,当代码执行的时候就会在控制台打印出调用栈信息,如附图所示。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-24 14:11:26
    【经验分享】如何给python函数增加一个timeout功能?
    想要实现的效果:
    在调用一个函数(不固定)的时候如果在指定的N秒内没有返回,就强制停止。

    在github上找到了一些方案例如func_timeout,timeout_decorator。经过测试对比,func_timeout比较理想,项目主页:github.com/kata198/func_timeout,“Python module to support running any existing function with a given timeout.”。它提供了一个装饰器func_set_timeout,非常方便。

    timeout_decorator原理:
    它是利用子线程StoppableThread来执行目标函数,当指定时间到达,子线程还未结束,就强制结束子线程,然后抛出FunctionTimedOut异常,详见github.com/kata198/func_timeout/blob/master/func_timeout/dafunc.py。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-24 13:17:22
    【演示】得物APP商品"最近购买列表"采集演示
    (1)根据商品的spuid从APP端采集。
    (2)得物的“最近购买”列表展示了最近3个月的销售记录,可以借以分析商品的价格和销量波动情况。包括字段“昵称、日期、规格、价格”,采集好的示例数据见:http://db.site-digger.com/csv/646577755f6170705f70726f647563745f6c6173745f736f6c645f6c6973745f73616d706c65/ 点击查看西安鲲之鹏的微博视频 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-18 14:30:34
    【演示】某小红书APP笔记详情及评论数据采集最新(20210618)演示
    近日某小红书的网页版不再展示笔记的“点赞数、评论数、收藏数和分享数”了,为了能拿到这些信息只能从APP端入手。本采集方案可以拿到笔记的所有属性值以及前10条评论数据。

    (1)笔记详情包含的字段
    'note_id'(笔记ID), 'note_type'(笔记类型,是普通的还是视频), 'user_red_id'(用户ID), 'user_name'(用户名), 'liked_count'(点赞数), 'shared_count'(分享数), 'collected_count'(收藏数), 'comments_count'(评论数), 'pubtime'(笔记发布时间), 'hash_tags'(标签), 'images_list'(原图列表), 'video'(视频链接,如果是视频笔记), 'desc'(笔记内容)
    示例数据链接:点击查看"小红书笔记示例数据"

    (2)笔记评论包含的字段
    'comment_id'(评论), 'note_id'(关联的笔记ID), 'user_name'(用户名), 'pubtime'(评论发布时间), 'like_count'(评论点赞数), 'score'(评分), 'content'(评论内容), 'sub_comment_count'(评论回复数), 'sub_comments'(评论回复内容)
    示例数据链接:点击查看小红书评论示例数据

    某小红书APP笔记详情及评论数据采集最新(20210618)演示

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-08 12:10:34
    【经验分享】某特来电APP采集方案
    我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。
    (1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来的?
    (2)脱壳,反编译找到了实现过程代码,如图4所示。可以看出AVER是通过对时间戳参数ATS,经过"DES/CBC/PKCS7Padding"加密而成。其它参数在代码中也都能找到实现过程。其中"X-Token"的产生过程比较复杂,后面再分享产生过程。

    阅读全文 + 去微博评论 +