更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】QEMU/KVM如何修改开机启动顺序?
    virsh edit name-of-vm-instance
    如下示例:
     <os>
        <type arch='x86_64' machine='pc-i440fx-xenial'>hvm</type>
        <boot dev="network"></boot>
        <boot dev="cdrom"></boot>
        <boot dev="hd"></boot>
        <bootmenu enable='yes'/>
      </os>
    
    bootmenu的enable设置为yes,就可以在启动的时候按F12选择启动设备。
    •  
    发布时间:2024-03-12 11:51:28
  • 【经验分享】使用VNC远程连接KVM虚拟机,鼠标不同步而且偏移很大(想砸掉鼠标冲动的那种)问题解决:
    (1)编辑虚拟机配置文件,例如sudo virsh edit win10_1,然后将<input type="mouse" bus="ps2" />修改为<input type="tablet" bus="usb" /> 。
    (2)强制关闭虚拟机win10_1然后重启,问题解决。
    发布时间:2024-03-13 09:26:51
  • 【经验分享】Frida里Java.choose找到某个类的实例,在调用该实例方法时出现“script should be invoke on MainThread”问题的解决:

    // Assign the javascript code to a variable.
    jsCode = """
    // Create a method called Cheese that will be exported.
    function Cheese()
    {
    // Perform the code from injected context.
    Java.perform(function ()
    {
    // Variable to store the view representing the button
    // to click programmatically.
    var view;
    // Define the Runnable type javascript wrapper.
    var Runnable = Java.use("java.lang.Runnable");

    // Find the MainActivity class in myApp.
    Java.choose("com.example.myApp.MainActivity",
    {
    // Once it has been found execute the following code.
    onMatch: function(instance)
    {
    // Get the view representing button to click.
    // 2131436712 id derived from decompiling app.
    view = instance.findViewById(2131436712);
    // Define a new class that implements Runnable and provide
    // the implementation of the run() method which, will
    // execute from the Main thread.
    const MyRunnable = Java.registerClass({
    name:'com.example.MyRunnable',
    implements: [Runnable],
    methods: {
    // run executes button click.
    run(){
    instance.onClick(view);
    },
    }
    });

    // Create an instance of the class just created.
    var MyGuiUpdate = MyRunnable .$new();
    // Schedule the run method in MyGuiUpdate to
    // execute on the UI thread.
    instance.runOnUiThread(MyGuiUpdate );

    },
    onComplete:function(){}
    });
    解决方法来源:https://stackoverflow.com/questions/65790594/calling-an-api-to-modify-an-apps-gui-from-non-main-thread-in-frida
    发布时间:2024-02-23 13:00:33
  • 【经验分享】Frida script中如何给Java的Long类型变量赋值?
    例如,某Java类中有如下Long类型变量定义:
    /* renamed from: e */
    public Long f90137e;

    尝试修改e的值,依次做如下测试:
    (1)classObj.e.value = 1978705204; 会报"Error: Expected value compatible with java.lang.Long"错误。
    (2)classObj.e.value = Java.use('java.lang.Long').parseLong.overload('java.lang.String').call(Java.use('java.lang.Long'), "1978705204");依然会报上述错误。
    (3)这个方法可以成功赋值:classObj.e.value = Java.use('java.lang.Long').$new(1978705204);
    发布时间:2024-02-21 21:45:47
  • 【经验分享】miller使用filter查询条件,当遇到字段含有空格或者其它特殊字符时怎么处理?如下示例中某个字段含有点号,直接查询会报错。解决方法如下:

    示例:mlr --icsv --oxtab --from mouser_products_202312.csv filter '${Mfr.}=~"TDK" || ${Brand}=~"TDK"' then count

    使用Pandas时,也有类似问题,解决方法:
    df[df['Brand'].str.contains("TDK")|df['Mfr.'].str.contains("TDK")]
    另外,Stackoverflow(https://stackoverflow.com/questions/50697536/pandas-query-function-not-working-with-spaces-in-column-names)上有人说可以用`字段`将字段包裹起来,例如:a.query('`a b` == 5') ,但是需要Pandas是0.25版本,我机器上是0.24.2,测试没有效果。
    发布时间:2024-02-21 19:01:04
  • 【经验分享】今天本地windows系统adb shell突然报错"error: unknown host service",尝试"adb kill-server"、甚至重启PC和手机均不起作用。后来网上查了下,说是PC端adb的后台服务进程的5037端口被其它程序占用了。

    解决方法:使用netstat -ano找到并关闭占有者进程,问题解决。 ​​​
    发布时间:2024-02-21 18:55:05
  • 【经验分享】PPPOE认证返回“User Locked”,可能是因为MAC被拉黑了,换一个就好了。 ​​​
    发布时间:2024-01-16 13:00:17
  • 【经验分享】Linux如何限制一个命令的运行时长?可以使用timeout命令。
    例如,限制ping最多运行10秒,可以这样:
    timeout 10s ping www.baidu.com ​​​
    发布时间:2024-01-12 12:11:50
  • 【经验分享】Playwright库使用context.route()/page.route()过滤HTTP(S)请求时发现有Ajax漏包的情况。查官方文档,发现有云:
    browser_context.route() will not intercept requests intercepted by Service Worker. See this issue. We recommend disabling Service Workers when using request interception by setting browser.new_context.service_workers to 'block'.

    尝试:
    context = browser.new_context(service_workers='block')
    问题解决。

    参考1:https://playwright.dev/python/docs/api/class-browsercontext#browser-context-route
    参考2:https://github.com/microsoft/playwright/issues/15684
    发布时间:2024-01-10 11:56:20
  • 【经验分享】Python fontTools 获取字体文件的字形名称列表,遇到"smile", "question", "space"等AGL名称,如何将其转为Unicode代码?

    >>>import fontTools
    >>>hex(fontTools.agl.AGL2UV['smileface'])
    '0x263a'

    参考:https://fonttools.readthedocs.io/en/latest/_modules/fontTools/agl.html ​​​
    发布时间:2023-10-12 10:58:26
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2021-06-24 13:17:22
    【演示】得物APP商品"最近购买列表"采集演示
    (1)根据商品的spuid从APP端采集。
    (2)得物的“最近购买”列表展示了最近3个月的销售记录,可以借以分析商品的价格和销量波动情况。包括字段“昵称、日期、规格、价格”,采集好的示例数据见:http://db.site-digger.com/csv/646577755f6170705f70726f647563745f6c6173745f736f6c645f6c6973745f73616d706c65/ 点击查看西安鲲之鹏的微博视频 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-18 14:30:34
    【演示】某小红书APP笔记详情及评论数据采集最新(20210618)演示
    近日某小红书的网页版不再展示笔记的“点赞数、评论数、收藏数和分享数”了,为了能拿到这些信息只能从APP端入手。本采集方案可以拿到笔记的所有属性值以及前10条评论数据。

    (1)笔记详情包含的字段
    'note_id'(笔记ID), 'note_type'(笔记类型,是普通的还是视频), 'user_red_id'(用户ID), 'user_name'(用户名), 'liked_count'(点赞数), 'shared_count'(分享数), 'collected_count'(收藏数), 'comments_count'(评论数), 'pubtime'(笔记发布时间), 'hash_tags'(标签), 'images_list'(原图列表), 'video'(视频链接,如果是视频笔记), 'desc'(笔记内容)
    示例数据链接:点击查看"小红书笔记示例数据"

    (2)笔记评论包含的字段
    'comment_id'(评论), 'note_id'(关联的笔记ID), 'user_name'(用户名), 'pubtime'(评论发布时间), 'like_count'(评论点赞数), 'score'(评分), 'content'(评论内容), 'sub_comment_count'(评论回复数), 'sub_comments'(评论回复内容)
    示例数据链接:点击查看小红书评论示例数据

    某小红书APP笔记详情及评论数据采集最新(20210618)演示

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-08 12:10:34
    【经验分享】某特来电APP采集方案
    我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。
    (1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来的?
    (2)脱壳,反编译找到了实现过程代码,如图4所示。可以看出AVER是通过对时间戳参数ATS,经过"DES/CBC/PKCS7Padding"加密而成。其它参数在代码中也都能找到实现过程。其中"X-Token"的产生过程比较复杂,后面再分享产生过程。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-04 10:57:34
    【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了,赞赞赞。
    function toJson(javaObject) {
        return Java.use("com.google.gson.Gson").$new().toJson(javaObject);
    };
    通过toJson(javaObject)可以将Java对象(数据结构)转换成JSON格式,非常方便。想想之前都是通过字符串拼接各个字段(熟悉)值,太费劲儿了。

    关于com.google.gson.Gson的toJson()的更多示例可以看这篇文章:https://www.cnblogs.com/reboost/p/9521603.html

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-03 14:41:55
    【经验分享】某美丽修行APP反采集策略分析
    采用的反采集策略:
    (1)加了360的壳。
    (2)ssl证书固定。
    (3)部分接口返回的数据有加密,例如附图1所示。
    (4)商品搜索部分需要登录(不登录实际可以拿到前10条数据)。

    解决方案:
    (1)通过frida脚本绕过证书固定,成功拦截到交互过程,如附图1所示,为某个请求的应答。
    (2)经过dump内存dex文件,jadx反编译,找到了“entityInfo”加密串的解密过程,如图2所示。顺藤摸瓜,找到AES解密的key和iv在so文件里,如图3所示。
    (3)用ida pro静态分析so文件,成功找到了key和iv,如图4所示。
    (4)用获取到的key和iv尝试解密“entityInfo”,成功,如图5所示。

    "商品详情"对应JSON数据如附图6所示,"全成分表"对应JSON数据如附图7-9所示。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-05-28 11:25:15
    【经验分享】一例网站反爬机制分析
    某网站,网址:http://t.cn/Rm6yxny(microchip官网)。浏览器访问正常,用Python urllib2和curl命令获取超时,修改成浏览器相同UA也同样结果。

    根据经验,网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提高多个请求的效率,而urllib2默认不使用长连接,每次请求完毕都会关闭tcp连接,urllib2发出的HTTP请求Connection值都为close(urllib2源码里写死了,如附图所示)。

    解决方法:使用支持长连接的HTTP库即可,例如requests库或者urllib3库。

    另外,我在stackoverflow上看到了能让urllib2支持keep-alive的方法,连接在这里https://stackoverflow.com/questions/1037406/python-urllib2-with-keep-alive,没有测试过。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-05-27 17:05:36
    【经验分享】如何在命令行下执行单个SQL语句?
    例如 定期清理django_session表
    示例: mysql -u root -p 123456 somedb -e "delete from django_session" ​​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-04-08 10:37:42
    【经验分享】某http proxy server远程连接老被reset,如图所示,curl连接总是返回“ Connection reset by peer”,偶尔也能成功一下。nc连接,能连上,但连上后马上断开。
    在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪,联系IDC无果。

    proxy server用的是delegate,看命令行参数,偶然发现有个"MAXIMA=conpch:30"参数,突然意识到了问题,应该是并发数设置太小了。改成200,重启delegate,问题解决。

    附“MAXIMA conpch”参数说明文档:
    http://t.cn/A6c5ngHp
    conpch  --- max. number of connections at a time per client host [unlimited]

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-03-26 12:23:58
    【经验分享】使用httping来测试http/socks5 proxy的稳定性

    httping是一款http连通性测试工具,通过跟踪持续http请求的结果,来评估目标平台的稳定性。它支持http/https以及socks5代理,因此我们可以借以测试http/https/socks5代理的稳定性。

    示例1:
    测试http代理的稳定性,命令如下:
    httping --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码 -Y 目标网址
    效果如图1和图2所示。通过对比可以明细看出图2的代理要比图1的速度快很多,而且稳定性更好。

    示例2:
    测试socks5代理的稳定性,命令如下:
    httping -5 --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码  -Y 目标网址
    PS:与设置http代理相比,设置socks5代理只多了一个"-5"参数。
    效果如图3所示。

    httpping项目主页:http://t.cn/RqDnaQc,上面还有编译好的win64版本。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-03-18 13:26:50
    【经验分享】mysql修改数据存储目录datadir之后,无法正常启动。syslog显示错误信息如下:
    apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1"
    有很多类似行,见图1,跟文件权限有关。

    apparmor 是一款Linux下的应用程序权限控制软件,这里是它禁止了mysqld进程对新的数据库目录的访问。

    解决方案:
    (1)编辑apparmor的mysql进程权限配置文件etc/apparmor.d/usr.sbin.mysqld,加入对新的数据库目录的访问授权。
    (2)重启apparmor服务,sudo service apparmor restart,这一步很重要,光修改上述配置文件不行,重启才能生效。
    (3)重启mysql服务。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-03-16 12:53:34
    【吐槽+分享】商超类店铺商品真够多啊,一个华润万家店铺商品数超过了7000件。

    分享:
    美团外卖华润万家(益田店),店铺APP ID:6043548,地址:深圳市福田区福民路北面皇达东方雅苑裙楼。全量商品数据(约7000条),采集时间:2021-03-16
    数据下载链接:http://t.cn/A6tuEDLa

    字段说明:
    'id' - 商品ID;
    'category' - 所属分类(商家自定义分类);
    'name' - 商品名称;
    'min_price' - 商品价格;
    'origin_price' - 商品原价;
    'member_price' - 会员价;
    'unit' - 单位;
    'min_order_count' - 最少起售量;
    'spec' - 规格;
    'real_stock' - 库存;
    'month_saled_content' - 月销量;
    'praise_content' - 点赞数;
    'activity_tag' - 所属活动;
    'promotion_info' - 促销信息;
    'picture' - 商品图片;

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-03-11 11:26:02
    【经验分享】python lxml xpath 如何获取元素的原始xml(html)?
    考虑场景:xpath遍历到某个element后,想用正则regex提取这个元素原始html的部分信息,那么如何获取元素的原始html呢?
    使用etree.tostring(element, encoding='unicode')即可,注意这里的encoding参数:
    encoding  is the output encoding (default is US-ASCII). Use encoding="unicode" to generate a Unicode string (otherwise, a bytestring is generated).

    参考:
    https://stackoverflow.com/questions/14896302/get-the-inner-html-of-a-element-in-lxml
    http://t.cn/A6tQLsHg

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-03-09 15:34:03
    【经验分享】Python中如何将被转义过的字符串还原?使用.decode('string-escape')
    例如:
    escaped_str = '{\"payload\":{\"0\":{\"k1\":\"v1\", \"k2\":\"v2\", \"k3\":\"v3\"}, \"1\":{\"k4\":\"v5\", \"k6\":\"v4\", \"k5\":\"v6\"}}}'
    经过escaped_str.decode('string_escape')之后,还原成:
    '{"payload":{"0":{"k1":"v1", "k2":"v2", "k3":"v3"}, "1":{"k4":"v5", "k6":"v4", "k5":"v6"}}}'

    再例如:
    escaped_str = '\\xe9\\xb2\\xb2\\xe9\\xb9\\x8f\\xe6\\x95\\xb0\\xe6\\x8d\\xae'
    经过escaped_str.decode('string_escape')之后,还原成:
    '鲲鹏数据'

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-01-27 13:25:42
    【分享】大众点评各城市POI数据量统计结果列表
    数据来源:大众点评APP,各城市全分类商户列表;
    更新时间:2020年1月;
    数据总量:共计2459个“城市”,其中一级城市370个,含港澳台。

    大众点评全国全分类在营业POI数据量有多少?
    根据370个一级城市统计结果加总显示有3922万条。

    数据下载地址:
    http://t.cn/A65VyV16
    •  

    阅读全文 + 去微博评论 +