更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】如何获取我查查App当前所选城市?
    adb pull /data/data/com.wochacha/shared_prefs/com.wochacha_preferences.xml ./com.wochacha_preferences.xml
    然后读取"SelectedCityName"属性。如图所示。 ​​​​
    发布时间:2019-01-18 14:09:15
  • 拼多多商品ID采集:Selenium + Mitmproxy ​​​​
    发布时间:2019-01-18 12:39:59
  • 【经验分享】SSH本地端口映射。场景如下:
    某Linux母机下有多台KVM虚拟机,虚拟机的VNC只开放了127.0.0.1的访问权限。如何远程连接这些VNC端口呢?

    可以使用SSH本地端口映射实现,在本地机执行如下命令:
    ssh -L 127.0.0.1:5901:127.0.0.1:5901 user@ip-of-linux-host
    解释一下:监听本地5901端口,将5901端口的连接重定向到ip-of-linux-host主机的127.0.0.1:5901端口。
    发布时间:2019-01-16 12:01:25
  • 【经验分享】KVM调整磁盘大小:
    1. 查看原磁盘大小。
    qemu-img info win7.img
    如图是80G。

    2. 增加10G。
    sudo qemu-img resize win7.img +10G

    3. 查看增加后的磁盘大小。
    qemu-img info win7.img
    如果是90G。

    4. 重启虚拟机,进入虚拟机磁盘管理再确认下。
    如图2所示,多了一个10GB的空闲分区。可以新建一个分区,也可以使用磁盘扩展将其合并到C盘。

    如果想要扩展指的分区的大小,可以使用virt-resize,具体请参考该文章:https://mike42.me/blog/how-to-resize-a-windows-vm-image-with-virt-resize
    发布时间:2019-01-16 11:37:01
  • 美团外卖菜品/商品月销量属性确定可以抓取(如图所示) ​​​​
    发布时间:2019-01-10 15:30:18
  • 【经验分享】KVM在Ubuntu下的安装配置 >>> http://www.site-digger.com/html/articles/20181229/693.html ​​​​
    发布时间:2019-01-09 16:03:18
  • 【经验分享】拼多多列表页商品最大可见数为1000个。
    如何测试Ajax动态分页列表的最大可翻页数?这个文章还是我3年前写的,后来时常用到。
    http://www.site-digger.com/html/articles/20150718/94.html ​​​​
    发布时间:2019-01-03 15:33:16
  • 【经验分享】安卓模拟器中需要先关闭物理键盘,才能正常使用ADB Keyboard。设置方法见附图。 ​​​​
    发布时间:2019-01-02 16:52:26
  • 常见安卓模拟器远程ADB监听端口(如图) ​​​​
    发布时间:2018-12-26 09:49:08
  • 【赞】pywebview是webview组件的轻量级跨平台原生封装,实现利用Web技术开发GUI应用  >>> 项目主页:https://github.com/r0x0r/pywebview  
    说明文档:https://pywebview.flowrl.com/  
    How to build cross platform Desktop GUI based apps with Python and web technologies and frameworks:https://www.techiediaries.com/python/how-to-build-cross-platform-desktop-gui-based-apps-with-python-and-web-technologies-and-frameworks/ ​​​​
    发布时间:2018-12-13 12:27:42
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2016-08-08 19:05:23
    在 Debian、Ubuntu 或 Linux Mint 系统中安装 7zip >>> http://t.cn/RtChuyx ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-04 08:48:55
    更改当前用户的Shell。e.g. 修改为zsh:  chsh -s /bin/zsh 根据提示输入密码即可。More details > http://t.cn/Rt6kAZY ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 15:07:41
    快递100APP返回一个坐标周边快递员信息(含手机号)接口分析测试截图。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 11:35:32
    "Selenium + Chrome Diver"使用带用户名密码认证(HTTP Basic Authentication)的代理方法 >>> http://t.cn/RtigU0J ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-02 16:56:47
    文档增加Scrapy, Selenium + Chrome/Firefox使用代理示例代码 >>> http://t.cn/RUWE7Dq ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-31 11:54:59
    耗了2天时间才发现是webscraping库的一个bug造成的,具体Bug我已经提交到这里了 >>> http://t.cn/RtIo59L 专治疑难杂![嘻嘻] ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-29 15:18:58
    【折腾几个小时的结果】py2exe打包"selenium + Firefox"应用,运行出现找不到"webdriver.xpi"或"webdriver_prefs.json"问题的原因及解决。
    原因:C:\Python27\Lib\site-packages\selenium\webdriver\firefox\firefox_profile.py中os.path.dirname(__file__)获取到的路径是在exe文件(假设为test.exe)的下级目录,例如 "dist\\test.exe\\selenium\\webdriver\\firefox\\",这当然不存在。
    解决:
    1)复制webdriver.xpi和webdriver_prefs.json到test.exe目录下;
    2)编辑firefox_profile.py文件,修改两处"os.path.join(os.path.dirname(file)," 为 "os.path.join(os.path.dirname(file), '..\..\..\..\'";
    3)重新打包,问题解决。

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-27 17:29:08
    Selenium + Firefor如何最小化窗口运行? Google不到好的方案,都说不容易直接实现,但是看到一个曲线救国的思路:将窗口位置移动到桌面之外 e.g. driver.set_window_position(-2000, 0)。试了一下效果不错。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-27 14:54:11
    curl使用socks5代理: curl --socks5 172.106.96.76:7788 http://t.cn/RAlE36B ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-27 12:11:26
    Selenium + Firefox 使用Socks5代理 >>> http://t.cn/Rtq33wL
    e.g. network.proxy.socks;10.10.10.1
    network.proxy.socks_port;8999
    network.proxy.socks_remote_dns;true
    network.proxy.socks_version;5 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-26 11:16:49
    网线也有坑:两块千兆网卡接到一个千兆交换机下,一个Speed为100M,另外一个Speed为1000M。原来是网线的问题:超5类线及以上才能支持千兆。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-26 10:13:19
    Instagram的动态翻页(e.g. http://t.cn/Rtbd09M)最多可以加载多少条数据?经过鲲之鹏技术人员实测,最多可以加载到前~1780条数据。PS:改变每页条数后能看到的页数就减少了,总共可见的数据条数没有增加。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-25 17:38:54
    Chrome如何使用Socks5代理:SwitchySharp插件你值得拥有! >>> http://t.cn/Rtbyxhe ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-24 09:57:51
    SSDB做缓存竟然比多SQLite缓存还要慢!看来又得探索新的缓存方案了。
    PS:禁掉缓存机制后爬虫集群采集速度提高了6倍!!! ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-15 09:50:38
    期待Tinyproxy能增加一个“ BindRandom”特性 >>> http://t.cn/RtvxCDy ​​​​

    阅读全文 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。