更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】如何让Squid Web隧道支持SSH协议?
    默认Web隧道下连接22端口是不被允许的,会返回403错误。
    编辑/etc/squid3/squid.conf,加入如下配置行
    acl SSL_ports port 22
    acl Safe_ports port 22
    然后重启Squid即可。 ​​​​
    发布时间:2018-05-16 11:41:42
  • 当当网有多少图书,你知道吗?>>> http://t.cn/R3h6hiH ​​​​
    发布时间:2018-05-08 13:53:19
  • 【经验分享】Ubuntu下如何识别无线网卡?
    以普联的TL-WDN6200为例,使用的是rtl8812au(http://t.cn/RuR1Drh这个驱动):
    wget http://t.cn/RuR1DrP
    unzip master.zip
    cd rtl8812au-master
    make
    sudo install
    然后重启系统,运气好的话你就能看到Wifi图标和热点列表了,如下图所示(Ubuntu14.04下亲测)。
    发布时间:2018-05-03 19:10:52
  • 【经验分享】DeleGate跑了3天日志吃了18G硬盘,如何关掉日志呢?
    查文档(ftp://www.delegate.org/pub/DeleGate/Manual.htm#LOGDIR),找到了方法,加上参数LOGFILE=""即可,原文:
    You can stop logging by specifying null file name like LOGFILE="" or PROTOLOG="". ​​​​
    发布时间:2018-04-28 18:08:15
  • 【经验分享】命令下如何优雅地展示JSON数据?
    jq is a lightweight and flexible command-line JSON processor. >>> http://t.cn/Ry7MrH2
    示例:curl http://t.cn/Rui9UFI |jq '.'
    效果如附图所示。 ​​​​
    发布时间:2018-04-27 17:15:06
  • 最常见浏览器User Agent列表(Most Common User Agents)  >>> http://t.cn/R5ZC20T
    PS:隐约感觉某网站开始通过随机UA检测爬虫了。 ​​​​
    发布时间:2018-04-27 13:08:00
  • 【经验分享】在多网络接口(IP)环境下Squid,Tinyproxy和DeleGate如何指定出口(IP) >>> http://t.cn/RucmfQu ​​​​
    发布时间:2018-04-25 18:16:40
  • 【经验分享】Linux网络接口名称最大允许长度为15字符 >>> http://t.cn/RuG4k0R ​​​​
    发布时间:2018-04-24 11:05:16
  • 【经验分享】抓取Web of Science经验分享 >>> http://t.cn/RmlDirP ​​​​
    发布时间:2018-04-15 14:03:24
  • 【最新】百度指数最新采集方案演示(视频),有点如下:
    1. 受限账号仍可继续采集(不会提示访问太频繁);
    2. 一次可以获取近90天的数据(理论上还可以更多); L西安鲲之鹏的秒拍视频 ​​​​
    发布时间:2018-04-13 14:15:02
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2017-03-10 22:26:15
    MySQL抓包工具 - MySQL Sniffer: MySQL Sniffer 是一个基于 MySQL 协议的抓包工具,实时抓取 MySQLServer 端的请求,并格式化输出。>>>  详细介绍http://t.cn/RiQAESc
    Ubuntu14.04下试了一下,效果很赞(如下截图)。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-02-22 14:07:44
    如何避免SSH时出现“Write failed: Broken pipe”?
    ssh -o ServerAliveInterval=60 user@host
    更多方法 >>> http://t.cn/zYc5wR1 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-02-18 16:24:05
    PPPOE拨号引发“Couldn't allocate pseudo-tty”问题,表现:
    1)SSH连接卡主(无法正常建立连接),提示:“request failed on channel 0”。
    2)日志出现大量:“Couldn't allocate pseudo-tty”。
    谷歌得知原因:pseudo-terminals数量超过系统最大限制。
    临时处理方法:增加pseudo-terminals最大数量,具体步骤>>> http://t.cn/RJnUJxD

    1. 如何查看系统当前pseudo-terminals数量:
    ls /dev/pts|wc -l
    参考文章:http://t.cn/RJnUJxk

    2. 查看当前系统允许的最大pseudo-terminals数量:
    cat /proc/sys/kernel/pty/max

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-02-16 12:34:53
    【专治疑难杂症】Selenium + IEDriver出现“Internet Explorer has stopped working”或"Internet Explorer 已停止工作"对话框如何解决? >>> http://t.cn/RJjndCS

    Turn Off The Error Dialog Via The Registry

    Although editing the registry manually is not recommended for average users, sometimes there isn’t a choice because something like the Group policy Editor might not be available in your version of Windows or the group policy method itself doesn’t work. This works on Windows Vista and above.

    Open the Registry Editor by typing regedit into the Start search box or the Win+R Run dialog.
    Navigate to the following registry key:
    HKEY_CURRENT_USER\Software\Microsoft\Windows\Windows Error Reporting

    Double click the DontShowUI entry on the right and change its value to 1, then close the registry editor.

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-02-08 19:44:38
    【经验分享】如何使用SPSS查看大CSV文件(超过100万行)? >>> http://t.cn/RJb48R1 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-02-08 19:05:12
    【专治疑难杂症】pyautogui在Windows下鼠标左键按下动作pyautogui.mouseDown()引发“WindowsError: [Error 5] 拒绝访问。/ WindowsError: [Error 5] Access is denied.” 异常解决方法:注释掉_pyautogui_win.py文件L479-L480行。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-26 11:40:16
    Google Maps Geocoding API使用限制: 2,500 free requests per day。
    >>> http://t.cn/RxVL66t
    使用稳定高匿名HTTP代理可以绕过该限制,例如200个IP就可以达到50万每天的查询速度。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-23 11:43:20
    【备忘】Chrome查看页面源码快捷键 Ctrl + U;Chrome进入隐私模式快捷键 Ctrl + Shift + N ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-20 20:55:19
    完善Python版的pppoe-status,实测比原版可靠(修复rp-pppoe-3.12中的pppoe-status误判失败的问题) >>> http://t.cn/RMsiLHd ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-16 09:46:59
    【纯干货】鲲之鹏微信小程序数据抓取示例 >>> http://t.cn/RMYalt4 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-12 12:36:58
    Ubuntu下7z压缩、解压文件:
    sudo  apt-get install p7zip-full

    【压缩文件】:
    7z a -t7z -r manager.7z /home/manager/*
    解释:
    a 代表添加文件/文件夹到压缩包;
    -t 是指定压缩类型 一般我们定为7z;
    -r 表示递归所有的子文件夹;

    【解压文件】
    7z x manager.7z -r -o/home/xx
    解释如下:
    x 代表解压缩文件,并且是按原始目录解压(还有个参数 e 也是解压缩文件,但其会将所有文件都解压到根下,而不是自己原有的文件夹下)manager.7z 是压缩文件,这里大家要换成自己的。如果不在当前目录下要带上完整的目录;
    -r 表示递归所有的子文件夹;
    -o 是指定解压到的目录,这里大家要注意-o后是没有空格的直接接目录;

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-09 17:33:07
    最近某机器上的Squid服务老是自动挂掉,日志也没看出问题...
    只能先临时曲线救国:通过计划任务定时检测squid进程是否存在,如果不存在执行sudo service squid start来启动服务。检测脚本我是用Python写的(Shell不熟悉),分享在这里:http://t.cn/RMM2N8v
    PS:我本来用supervisor实现的,结果老是提示squid进程异常退出,就放弃了。

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-06 15:14:04
    【SecureCRT自动SSH跳转配置】友商设备限制了只允许我们的特定的IP能访问,每次都要先SSH到该IP,然后再SSH跳转到目标机器。每次都要输入一遍ssh user@host 和 密码,非常麻烦。利用SecureCRT Logon Actions(登录动作)里的Automate logon(自动登录)可以自动化完成该操作(输入ssh user@host 和 密码),这里有篇图文并茂的文章介绍。 >>> OSecureCRT的logon action登录跳转设置

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2017-01-04 00:14:19
    修复Webscraping库Download类使用proxy重大Bug。由于之前加入了防止重复添加ProxyHandler的处理(这个处理逻辑存在Bug),导致产生如下2个Bug(均发生在带opener时。):
    1)变更代理无效。原因:后面的代理不会加入对应的ProxyHandler。
    2)变更协议丢失代理。原因:后续请求如果和第一个请求采用不同的协议会导致后续代理没有对应协议的ProxyHandler。
    修复方案:
    在每次加入ProxyHandler时先移除掉之前的ProxyHandler。

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-12-30 22:44:31
    【ssh远程端口映射备忘】ssh -R 0.0.0.0:9000:127.0.0.1:8681 qi@221.229.204.52
    PS:将221.229.204.52上的0.0.0.0:9000端口,映射到本地的127.0.0.1:8681端口。 ​​​​

    阅读全文 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。