更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2016-08-24 14:21:26
    Hyper-V下创建的macvlan(伪造MAC拨号用)无法工作,勾选上"启用MAC地址的欺骗"(如下图)后,工作了! ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-24 12:54:55
    Ubuntu下pppoe-connect(start)提示“execvp: No such file or directory”,经查是pppd不存在,安装后问题解决:sudo apt-get install ppp ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-23 14:14:18
    How to solve "EnvironmentError: mysql_config not foun" problem when set-up MySQL for Python on Ubuntu? >>> http://t.cn/RtBW9q9 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-23 13:40:56
    大众点评国内目前已涵盖2379个“城市”(一些县甚至地区也被大众点评作为“城市”列出, .e.g http://www.dianping.com/shop/45321696)。为了提高可用性,我们对“城市”字段做了修正,增加“real_city”(真实城市)和“province”(省份)字段 >>> http://t.cn/RtB0cHX ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-20 09:57:39
    Linux how long a process has been running?   ps -p {PID-HERE} -o etime  >>> http://t.cn/RtmxWIB ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-20 09:47:38
    Linux Execute Cron Job After System Reboot:  @reboot  /path/to/job   >>> http://t.cn/RtmxvNz ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-18 10:32:07
    【“美味不用等App”采集分析】HTTP请求加入了签名机制(sign参数),但是存在Bug:sign的值仅与time和nonce两个常量参数(可以一直保持不变)有关,改变核心参数例如page,cityid,shopid请求依然合法。可以正常采集。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-15 17:04:56
    查看系统剩余Inode数: df -i
    PS:顺便测试下LICEcap录GIF动画的效果。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-08 19:05:23
    在 Debian、Ubuntu 或 Linux Mint 系统中安装 7zip >>> http://t.cn/RtChuyx ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-04 08:48:55
    更改当前用户的Shell。e.g. 修改为zsh:  chsh -s /bin/zsh 根据提示输入密码即可。More details > http://t.cn/Rt6kAZY ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 15:07:41
    快递100APP返回一个坐标周边快递员信息(含手机号)接口分析测试截图。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 11:35:32
    "Selenium + Chrome Diver"使用带用户名密码认证(HTTP Basic Authentication)的代理方法 >>> http://t.cn/RtigU0J ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-02 16:56:47
    文档增加Scrapy, Selenium + Chrome/Firefox使用代理示例代码 >>> http://t.cn/RUWE7Dq ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-31 11:54:59
    耗了2天时间才发现是webscraping库的一个bug造成的,具体Bug我已经提交到这里了 >>> http://t.cn/RtIo59L 专治疑难杂![嘻嘻] ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-07-29 15:18:58
    【折腾几个小时的结果】py2exe打包"selenium + Firefox"应用,运行出现找不到"webdriver.xpi"或"webdriver_prefs.json"问题的原因及解决。
    原因:C:\Python27\Lib\site-packages\selenium\webdriver\firefox\firefox_profile.py中os.path.dirname(__file__)获取到的路径是在exe文件(假设为test.exe)的下级目录,例如 "dist\\test.exe\\selenium\\webdriver\\firefox\\",这当然不存在。
    解决:
    1)复制webdriver.xpi和webdriver_prefs.json到test.exe目录下;
    2)编辑firefox_profile.py文件,修改两处"os.path.join(os.path.dirname(file)," 为 "os.path.join(os.path.dirname(file), '..\..\..\..\'";
    3)重新打包,问题解决。

    阅读全文 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。