更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【视频演示】受客户委托对淘宝APP-淘鲜达店铺商品数据抓取的可行性进行评估。实测可行(销量也可以采集到),如录屏所示。  西安鲲之鹏的微博视频 ​​​​

    发布时间:2020-02-21 17:44:07
  • 【经验分享】Win8下安装VMware出现"error1316 指定账户已存在"问题的解决

    似乎是之前的安装有注册表残留(在控制面板已安装程序列表里看不到),尝试安装了多次,持续出现"error1316 指定账户已存在"问题,网上有VMware注册表清理工具试了也不管用。

    后来使用Windows Installer CleanUp Utility(Windows Installer 清理实用工具包,简称MSICUU)解决了问题。MSICUU会显示你以前没卸干净的软件列表(如附图1所示), 然后选择你想完全卸掉的项目 ,卸载了就可以了。

    附MSICUU的下载链接>>> O【Windows Installer CleanUp Utility下载】2...
    发布时间:2020-02-19 17:14:47
  • 【视频】携程酒店价格采集对比工具定制版演示
    该最新定制版(2020年)使用Google Chrome Dev Protocol(非Selenium + webdirver模式)实现,不会暴露navigator.webdriver等各种特征,不容易被识别。
    对比17年的版本:采用的是(Selenium + phantomjs)能够被反爬虫机制识别,返回有虚假价格情况,失败率也高。  西安鲲之鹏的微博视频

    发布时间:2020-02-18 15:24:40
  • 【经验分享】一例正则表达式效率低问题的分析

    一直以来都觉得正则表达式的效率非常高,今天遇到一例正则匹配耗时特长的情况,mark一下。
    目标是判断目标网页(大小约350KB)中是否有符合以下要求的子串:
    "至少要有一个不为'的字符<div class="tips_unresult">"

    想当然的写出了如下的代码:
    re.compile(r'[^\']+<div[^<>]+class="tips_unresult">').search(html)
    测试的时候发现这一步耗时特别长,记了一下时,竟然花了差不多10秒,很是诧异。

    后来试着修改了下正则式,如下:
    re.compile(r'[^\']<div[^<>]+class="tips_unresult">').search(html)
    和第一次的相比,区别在于:这里只匹配"<div..."前面有一个非'字符即可,而第一步是匹配"<div..."前面有一个或多个非'字符。
    这次只用了0.004秒,结果相差了1600多倍!

    PS:[汗]第一次的那个代码在以往一个的爬虫中曾执行过70多万次[汗],以前竟然没有发现问题,还以为时间都花在webkit加载页面上了...这样一算竟然多花了近一周的时间。

    独立的测试代码和运行截图如附图所示。
    发布时间:2020-02-17 17:57:15
  • 【经验分享】“supervisor实现无限重试”中的坑

    背景:Debian 10系统,Wifi联网,需要实现系统启动时自动启动autossh。
    问题:如果网络未连接成功(例如,Wifi是在用户登录之后才会连接),启动autossh会失败退出。因此不能直接使用rc.local(在网络连接成功之前就执行了)。于是想到使用supervisor,让其不断的重试,当网络连接正常时就autossh就会正常被启动了,配置如附图1所示。但是发现supervisor最多只重试了3次就放弃了。

    查询supervisor configuration文档(http://supervisord.org/configuration.html?highlight=startretries)得知startretries参数用于控制每次启动的重试次数,默认值是3。

    另外还有一个autorestart参数,如果设置为true,则无条件重启(If true, the process will be unconditionally restarted when it exits, without regard to its exit code.)。但我设置了autorestart为true后,还是只重试了3次。

    为什么呢?在autorestart参数注意事项里看到了如下说明:
    autorestart controls whether supervisord will autorestart a program if it exits after it has successfully started up (the process is in the RUNNING state).

    意思就是说目标program必须成功启动过一次(被标记过为RUNNING状态),autorestart机制才会起作用。

    由于本案例中supervisor服务启动的时候网络连接还没建立成功,所以目标program(autossh)首次启动(3次重试)会失败,这样autorestart机制就没起作用。

    怎么破?
    首先我们要弄清楚supervisor是怎么判断目标程序成功启动了呢。
    在startsecs参数的说明里我们可以看到:
    The total number of seconds which the program needs to stay running after a startup to consider the start successful (moving the process from the STARTING state to the RUNNING state).
    也就是只有目标程序启动保持运行超过startsecs秒才会被认为启动成功了(标记状态为RUNNING)。startsecs默认值是1。本例中autossh由于没有网络连接闪退了,所以supervisor认为其启动失败。

    弄清原理之后,就好办了,我们实现一个这样的脚本:
    (1)先判断网络连接是否正常(可以使用ping),如果不正常则等待10秒(只要超过startsecs值即可)后退出。
    (2)如果网络连接正常,则启动autossh。

    #!/bin/bash

    #
    检测网络是否通畅
    ping -c 1  www.baidu.com
    if [ $? -eq 0 ]
    then
      # 网络正常,启动autossh
      echo "Network is ready"
      sudo /bin/su qi -l -c "/usr/bin/autossh -M 6777 -N -D 127.0.0.1:1080 目标主机SSH参数"
    else
      #
    网络不通,等待11秒后退出
      echo "Network is not ready."
      sleep 11s
      exit 1
    fi

    实测成功。

    附Supervisor Configuration File文档链接:http://supervisord.org/configuration.html
    发布时间:2020-02-15 23:14:20
  • 发布时间:2020-02-14 21:06:44
  • 【经验分享】python2 pip安装frida-tools,在安装prompt-toolkit依赖时出现"No matching distribution found for prompt-toolkit<4.0.0,>=3.0.3 (from frida-tools)"问题(如附图1所示)的解决。

    问题分析:需要的prompt-toolkit版本是 <4.0.0,>=3.0.3,而python 2库中prompt-toolkit的最高版本才是2.0.10。 查询得知"prompt_toolkit 3.0 requires at least Python 3.6." (来源:https://python-prompt-toolkit.readthedocs.io/en/master/),3.0以后版本需要至少python 3.6。

    怎么破?
    (1)下载frida-tools源码包。
    (2)修改setup.py文件,如附图2所示,将prompt-toolkit的版本要求去掉。
    (3)sudo python setup.py install。
    发布时间:2020-02-11 18:55:01
  • 【视频演示】受客户委托对淘宝APP直播弹幕数据抓取的可行性进行评估。实测可行,如录屏所示。  西安鲲之鹏的微博视频 ​​​​

    发布时间:2020-02-11 15:38:51
  • 【经验分享】Linux下如何查看服务器的型号,出厂日期?
    可以使用dmidecode命令查看BIOS信息来实现。
    e.g.
    # 查看机器型号
    sudo dmidecode -s system-product-name
    #
    查看出厂日期
    sudo dmidecode -s bios-release-date

    如图1所示为我最近折腾的TDE上网本的情况;
    如图2所示为公司某服务器的情况;
    如图3所示为阿里云服务器的情况;

    关于dmidecode命令的详细说明见这里 >>> http://t.cn/A6Pemztx
    发布时间:2020-02-08 13:32:58
  • 【经验分享】这两天被冠状病毒困在家,翻出了一台10年前的上网本(TDE山寨货),配置如图1(i686 CPU 1.6GHz,1G RAM)。
    折腾了一下安装各种系统,可能驱动兼容性问题,期间遇到了各种问题,总结如下:

    (1)Chrome OS:
    安装比较顺利,运行也比较流畅,进入系统之后就是一个谷歌浏览器。
    但由于国内无法使用Google相关服务,使用起来比较麻烦,放弃。

    (2)Android系列:
    Bliss OS X86 32位,安装后无法进入桌面环境。
    PrimeOS,没有32位的版本,无法安装。

    (3)Linux发行版:
    Linux Mint 19.3 cinnamon 32位,进入桌面后巨卡,无法正常使用,后来试了兼容模式启动情况好一些。
    Ubuntu 16.04.6 Desktop i386,安装过程复制文件后期卡死,无后文。
    Debian 10.2.0 i386,赞一个,安装过程很流畅(“配置软件包管理器”那步耗时较长),使用也很流畅。

    最终选定使用Debian 10。
    发布时间:2020-02-08 11:17:45
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2019-11-06 09:32:19

    【视频演示】ANJUKE新房楼盘/二手房小区详细参数,基于APP采集,IP限制弱。

    二手房小区字段:
    u'community_id', u'城市', u'小区名', u'本月均价', u'价格变动', u'所在版块', u'地址', u'总户数', u'建造年代', u'物业公司', u'物业类型', u'物业费', u'开发商', u'总建面积',  u'容积率', u'停车位', u'绿化率', u'经度', u'纬度', u'简介'

    新房楼盘字段:
    u'loupan_id', u'城市', u'楼盘名称', u'别名', u'楼盘价格', u'特色', u'区域位置', u'楼盘地址', u'建筑类型', u'规划户数', u'工程进度', u'开盘时间', u'交房时间', u'容积率', u'绿化率',  u'开发商', u'物业类型', u'物业公司', u'物业管理费', u'车位比', u'车位数', u'楼层状况', u'楼盘户型', u'经度', u'纬度'  西安鲲之鹏的微博视频

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-10-30 12:05:49
    【经验分享】grep命令提示Binary file (standard input) matches(如附图所示)怎么解决?
    可以使用-a参数,e.g. grep -a 'pattern'。
    -a, --text
    Process a binary file as if it were text; this is equivalent to the ‘--binary-files=text’ option.

    >>> http://t.cn/Ai1RqEdR ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-10-21 10:44:18
    【经验分享】链家APP ssl pinning的分析和解决
    (1)直接Fiddler抓包,失败,APP报网络异常,如图1所示;logcat报javax.net.ssl.SSLPeerUnverifiedException异常,如图2所示。
    (2)反编译apk,查到证书验证部分核心代码,如图3和4所示。
    (4)通过Frida HOOK okhttp3.internal.tls.OkHostnameVerifier verify()方法,始终返回true,绕过证书固定验证,代码如下:
    Java.perform(function () {
        var OkHostnameVerifier = Java.use('okhttp3.internal.tls.OkHostnameVerifier');
        try {
             OkHostnameVerifier.verify.overload('java.lang.String', 'javax.net.ssl.SSLSession').implementation = function(p0, p1){
                 console.log('ssl unpinning for "' + p0 + '"');
                 return true;
           };
         } catch (e) {
            console.log(e);
        }
    });
    (5)如图5所示,Fiddler成功抓取到链接APP的HTTP交互数据。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-10-18 13:23:42
    【经验分享】本文介绍了一例APP使用了非常规ssl pinning导致Fidder抓包失败,最终通过Frida HOOK成功解决,附源码。 >>> http://t.cn/Ai3tEzbP ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-09-26 10:52:18
    【经验分享】今日拨号服务器上某PPPOE拨号持续失败,经查日志:“pppoe: send (sendPacket): Network is down”,ip link 查看对应的虚拟网卡状态是DOWN,无法设置为UP(sudo ip link set dev v051802057684 up失败)。但同一个账号在另外一个机器上测试正常,怀疑可能是MAC地址的问题(例如冲突了),果断删掉虚拟网卡( sudo sudo ip link del v051802057684),然后重建并指定一个不同的MAC,拨号成功!

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-09-26 08:45:09
    【经验分享】昨天下午办公室断了下电,服务器重启后,adb devices显示10台设备都是“?????? no permissions”,第一次遇到这种情况。重启服务器和移动设备问题依据。后来在askubuntu上看到有人提到试一下sudo adb devices,竟然立马识别了(http://t.cn/AinpW0dY)。很诡异,之前用普通权限都一直正常着,为什么突然就没有权限了?

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-09-19 12:20:13
    【经验分享】Termux自带的am命令版本太低,竟然不支持force-stop(如图1示),经查得知pm clear命令也可以停止一个APP,而且还会将APP的用户数据清除掉(回到刚安装的状态),试了一下果然有效,运行之后"/data/data/包名"目录下只剩下lib目录了。注意:需要root权限。 >>> http://t.cn/AiEFayJc ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-09-18 09:16:52
    【经验分享】"adb shell 命令",如何让“命令”以root权限执行?
    例如,某设备已root,但当执行adb shell rm /data/data/com.xxxx/cache时提示Permission denied。

    解决方法:
    adb shell "su -c '[your command goes here]'"
    例如:
    adb shell "su -c 'rm /data/data/com.xxxx/cache'"

    参考文章"Is there a way for me to run Adb shell as root without typing in 'su'?" >>> http://t.cn/AiEd4P8m

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-09-02 16:42:37
    【经验分享】关于小红书搜索结果数据抓取的限制:
    1. 小红书微信小程序版之前是前600条可见,最近已被限制为前60条可见。
    2. 小红书安卓APP版本限制为搜索结果前1000条可见。 ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-08-22 16:07:00
    【经验分享】通过ADB启动手机淘宝APP搜索,打开指定关键词的搜索结果列表,如下示例,打开搜索“HUAWEI”的结果:
    adb shell am start -n com.taobao.taobao/com.taobao.search.SearchListActivity -d "taobao://s.taobao.com/search?q=HUAWEI" ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-08-21 17:52:28

    【经验分享】手机淘宝APP商品搜索结果采集最新方案20190821(免登录)
    (1)模拟操作APP操作,无需登录,不存在封账号;
    (2)IP限制弱;
    详见下附演示视频。  西安鲲之鹏的微博视频 ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-08-09 17:52:21
    【经验分享】终于搞定了支付宝口碑App数据采集,有图有真相。 ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-08-07 16:13:23
    【经验分享】如何采集支付宝小程序的数据?adb模拟操作 + xposed Hook "com.alipay.mobile.nebula.util.H5Utils.parseObject"
    如附图所示,成功获取服务端应答的JSON数据。 ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-07-10 17:08:14
    【经验分享】Linux server(headless模式)下Android模拟器的实现。

    现在越来越多的采集项目(采集APP数据)需要用到安卓模拟器了,然而市面上还没有支持Linux server(headless模式)下运行的安装模拟器,太遗憾了(因为公司大多数服务器都是Ubuntu server版本)。

    我们可以使用KVM + Android x86版系统来实现:

    1. 安装配置KVM。关于KVM在Ubuntu server下的安装配置步骤,详见我们去年的这篇文章:http://t.cn/EGdGjVE
    2. Android x86是支持运行于 x86 PC上的Android操作系统。下载Android X86 系统安装ISO文件,下载地址:http://t.cn/AiOgft2w,我测试的是android-x86-6.0-r3.iso。
    3. 创建KVM虚拟硬盘:
    qemu-img create -f qcow2 ./android60-1/android.img 10G
    PS:磁盘大小10GB,虚拟磁盘文件存储路径./android60-1/android.img(后面要用到)。
    4. 创建好网桥br0(直连主机外网,如附图1所示)。让虚拟机通过桥接模式上网,这样我们就可以很方便的从外网使用adb连接5555端口,进行远程控制。网桥的配置方法详见http://t.cn/EGdGjVE
    5. 启动KVM虚拟机,安装Android x86系统:
    qemu-system-x86_64 -enable-kvm -m 2048 -smp 4 -cdrom "android-x86-6.0-r3.iso"  -hda "./android60-1/android.img" -net nic,model=virtio,macaddr=00:16:3E:51:CC:10 -net bridge,br=br0  -vnc :2

    PS: 2048M内存,4核CPU,光驱链接系统安装镜像文件android-x86-6.0-r3.iso,指定虚拟机使用00:16:3E:51:CC:10这个MAC,使用网桥br0,指定VNC端口为5900 + 2 = 5902。

    执行上述命令之后,就可以通过VNC连接5902端口,进行系统安装了,安装过程很简单,跟其它Linux发行版安装过程类似:先是分区,格式化磁盘,然后写入文件,重启(如附图2所示)。
    6. 系统好之后,再次运行上述命令(注意要把-cdrom相关参数去掉,否则默认还会从光盘启动),首次进入系统,需要完成系统初始化配置。

    PS:需要注意的是,如果卡到WIFI配置那里了(提示无法连接网络,安装向导无法连接到谷歌,原因你懂的),可以先关掉网络,方法是按Alt + F1,进入安装命令行模式(可以ping www.baidu.com,发现网络其实是通着的),执行ifconfig eth0 down断掉网络(如附图3所示),然后再按Alt + F7恢复图形模式,继续完成向导即可。

    7. 配置好一个安卓虚拟机之后,我们可以直接通过复制多个虚拟磁盘文件android.img,启动多个安卓系统。注意:要指定不同的MAC地址,和不同的VNC端口。

    如附图4和5所示,我配置好一个虚拟机,安装上所需的各种APP之后,通过直接复制android.img,又启动了2个MAC地址不同的安卓模拟器。

    如附图6所示,通过adb远程连接上各安卓虚拟机(模拟器)。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2019-06-28 16:27:07
    【经验分享】美团外卖APP在siua头里隐藏了什么信息?
    1. 美团外卖发出的HTTP请求头里有个叫做siua的头(如图1所示),它是什么鬼?
    2.反编译APK,一路跟踪,找到了startCollection(),如图2所示。就是它了。
    3. 通过Xposed HOOK上述函数,成功获取到明文数据(如下所示)。也如图3所示。

    1.0}}MSM8974|Xiaomi|cancro_wc_lte|cancro|KTU84P|zh|CN|Xiaomi|MI 4LTE|4.4.4|19|release-keys|Xiaomi/cancro_wc_lte/cancro:4.4.4/KTU84P/99.12.4:user/release-keys|qcom|qh-miui-ota-bd58|user|cancro|armeabi-v7a|armeabi|cancro-user 4.4.4 KTU84P 99.12.4 release-keys|1|0|}}mtp,adb|mtp,adb|mtp,adb|MPSS.DI.3.0-525eb9a|Qualcomm RIL 1.0|wlan0|ABSENT||1|1|1|1|1|1|1|1|0|1|1|1}}ARMv7 Processor rev 1 (v7l)|Qualcomm MSM8974PRO-AC|4|Accelerometer|STMicroelectronics|Gravity|Qualcomm}}866500021425311|-|-|1920*1080|12GB|12GB|7c:1d:d9:76:af:f9||wifi}}-|0|-1.0|0|0||79d072a8-59fc-4ace-b45e-1b386d8de712}}0|0|0|-}}Android|com.sankuai.meituan.takeoutnew|5.12.3|19|-|2019-06-25 14:00:34:034}}0.0|0.0|KUNZHIPENG|0c:4b:54:da:bd:80|1|-46|-|-|-|}}

    我们来看看这里面包含有什么信息:
    手机品牌、型号、安卓版本号、IMEI码、WLAN的MAC地址、热点名称、热点的MAC地址(如图4所示,和路由器铭牌一致)、手机屏幕尺寸、存储空间...

    阅读全文 + 去微博评论 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询