更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】如何让Squid Web隧道支持SSH协议?
    默认Web隧道下连接22端口是不被允许的,会返回403错误。
    编辑/etc/squid3/squid.conf,加入如下配置行
    acl SSL_ports port 22
    acl Safe_ports port 22
    然后重启Squid即可。 ​​​​
    发布时间:2018-05-16 11:41:42
  • 当当网有多少图书,你知道吗?>>> http://t.cn/R3h6hiH ​​​​
    发布时间:2018-05-08 13:53:19
  • 【经验分享】Ubuntu下如何识别无线网卡?
    以普联的TL-WDN6200为例,使用的是rtl8812au(http://t.cn/RuR1Drh这个驱动):
    wget http://t.cn/RuR1DrP
    unzip master.zip
    cd rtl8812au-master
    make
    sudo install
    然后重启系统,运气好的话你就能看到Wifi图标和热点列表了,如下图所示(Ubuntu14.04下亲测)。
    发布时间:2018-05-03 19:10:52
  • 【经验分享】DeleGate跑了3天日志吃了18G硬盘,如何关掉日志呢?
    查文档(ftp://www.delegate.org/pub/DeleGate/Manual.htm#LOGDIR),找到了方法,加上参数LOGFILE=""即可,原文:
    You can stop logging by specifying null file name like LOGFILE="" or PROTOLOG="". ​​​​
    发布时间:2018-04-28 18:08:15
  • 【经验分享】命令下如何优雅地展示JSON数据?
    jq is a lightweight and flexible command-line JSON processor. >>> http://t.cn/Ry7MrH2
    示例:curl http://t.cn/Rui9UFI |jq '.'
    效果如附图所示。 ​​​​
    发布时间:2018-04-27 17:15:06
  • 最常见浏览器User Agent列表(Most Common User Agents)  >>> http://t.cn/R5ZC20T
    PS:隐约感觉某网站开始通过随机UA检测爬虫了。 ​​​​
    发布时间:2018-04-27 13:08:00
  • 【经验分享】在多网络接口(IP)环境下Squid,Tinyproxy和DeleGate如何指定出口(IP) >>> http://t.cn/RucmfQu ​​​​
    发布时间:2018-04-25 18:16:40
  • 【经验分享】Linux网络接口名称最大允许长度为15字符 >>> http://t.cn/RuG4k0R ​​​​
    发布时间:2018-04-24 11:05:16
  • 【经验分享】抓取Web of Science经验分享 >>> http://t.cn/RmlDirP ​​​​
    发布时间:2018-04-15 14:03:24
  • 【最新】百度指数最新采集方案演示(视频),有点如下:
    1. 受限账号仍可继续采集(不会提示访问太频繁);
    2. 一次可以获取近90天的数据(理论上还可以更多); L西安鲲之鹏的秒拍视频 ​​​​
    发布时间:2018-04-13 14:15:02
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2016-08-26 14:09:18
    Notepad++  & NppFTP 插件实现Remote Edit,一个字“cool”! ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-26 12:57:50
    "Warning: Incorrect string value: '\xF0\x9F\x98\x83 @...' for column"导致字符串被截断问题的解决:将字段的编码从utf8修改为utf8mb4,程序连接MySQL的时候也要修改charset为utf8mb4。>>>  http://t.cn/8sI0SNw ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-26 09:09:46
    MySQL的“Text”类型允许的最大字节数:
    TINYTEXT: 256 bytes、
    TEXT: 65,535 bytes(很多时候不够用)、
    MEDIUMTEXT: 16,777,215 bytes、
    LONGTEXT: 4,294,967,295 bytes。超过限制就会提示“Data truncation”警告或者报错“Data too long”。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-24 14:21:26
    Hyper-V下创建的macvlan(伪造MAC拨号用)无法工作,勾选上"启用MAC地址的欺骗"(如下图)后,工作了! ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-24 12:54:55
    Ubuntu下pppoe-connect(start)提示“execvp: No such file or directory”,经查是pppd不存在,安装后问题解决:sudo apt-get install ppp ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-23 14:14:18
    How to solve "EnvironmentError: mysql_config not foun" problem when set-up MySQL for Python on Ubuntu? >>> http://t.cn/RtBW9q9 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-23 13:40:56
    大众点评国内目前已涵盖2379个“城市”(一些县甚至地区也被大众点评作为“城市”列出, .e.g http://www.dianping.com/shop/45321696)。为了提高可用性,我们对“城市”字段做了修正,增加“real_city”(真实城市)和“province”(省份)字段 >>> http://t.cn/RtB0cHX ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-20 09:57:39
    Linux how long a process has been running?   ps -p {PID-HERE} -o etime  >>> http://t.cn/RtmxWIB ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-20 09:47:38
    Linux Execute Cron Job After System Reboot:  @reboot  /path/to/job   >>> http://t.cn/RtmxvNz ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-18 10:32:07
    【“美味不用等App”采集分析】HTTP请求加入了签名机制(sign参数),但是存在Bug:sign的值仅与time和nonce两个常量参数(可以一直保持不变)有关,改变核心参数例如page,cityid,shopid请求依然合法。可以正常采集。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-15 17:04:56
    查看系统剩余Inode数: df -i
    PS:顺便测试下LICEcap录GIF动画的效果。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-08 19:05:23
    在 Debian、Ubuntu 或 Linux Mint 系统中安装 7zip >>> http://t.cn/RtChuyx ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-04 08:48:55
    更改当前用户的Shell。e.g. 修改为zsh:  chsh -s /bin/zsh 根据提示输入密码即可。More details > http://t.cn/Rt6kAZY ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 15:07:41
    快递100APP返回一个坐标周边快递员信息(含手机号)接口分析测试截图。 ​​​​

    阅读全文 +

  • 西安鲲之鹏

    发布时间:2016-08-03 11:35:32
    "Selenium + Chrome Diver"使用带用户名密码认证(HTTP Basic Authentication)的代理方法 >>> http://t.cn/RtigU0J ​​​​

    阅读全文 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。