【分享】大众点评各城市POI数据量统计结果列表
数据来源：大众点评APP，各城市全分类商户列表；
更新时间：2020年1月；
数据总量：共计2459个“城市”，其中一级城市370个，含港澳台。

大众点评全国全分类在营业POI数据量有多少？
根据370个一级城市统计结果加总显示有3922万条。

数据下载地址：
http://t.cn/A65VyV16

• 
 

【经验分享】使用urllib2时如何防止自定义的header被capitalization。

例如，程序里写的'x-requested-with'，但是发出去的包里却变成了'X-Requested-With'（如附图）。

解决方法，自定义一个str类的子类，重写title和capitalize方法（如下）。
class SafeString(str):
    def title(self):
        return self

    def capitalize(self):
        return self

然后在赋值的时候这样写即可：
headers[SafeString('x-requested-with')] = 'test'
PS：这样urllib在调用SafeString('x-requested-with')的title方法时候，就直接原样返回了。

• 

【经验分享】com.sankuai.meituan.takeoutnew在/sdcard/Android/这里藏有猫腻，如图 ​​​​

• 
• 

【经验分享】如何通过adb给安卓APP授权？
背景：自动操作APP时，APP在首次启动（刚安装完或者被pm clear之后）可能会出现授权提示（例如，允许获取当前位置），打断了自动化操作流程，如何实现自动化授权呢？

在启动APP之前，先通过adb命令给APP授予所需的权限即可，命令如下：
adb shell pm grant <packageName> android.permission.READ_CONTACTS
上述命令是给APP授予“读取联系人”的权限，更多的权限列表参见这里：
https://blog.csdn.net/HardWorkingAnt/article/details/70952583

经过授权之后，APP启动时就不会再弹出授权提示框了。

【备忘】curl --help|grep socks
     --socks4 HOST[:PORT]  SOCKS4 proxy on given host + port
     --socks4a HOST[:PORT]  SOCKS4a proxy on given host + port
     --socks5 HOST[:PORT]  SOCKS5 proxy on given host + port
     --socks5-hostname HOST[:PORT]  SOCKS5 proxy, pass host name to proxy（重点）
     --socks5-gssapi-service NAME  SOCKS5 proxy service name for GSS-API
     --socks5-gssapi-nec  Compatibility with NEC SOCKS5 server

【经验分享】如何"准确"查询一个ip的归属地？
查询IP归属地最常用的方法是通过类似iplocation.net的工具网站进行查询，但是他们的数据库可能存在错误或者更新不够及时，导致查询结果错误。

下面举两个例子：
（1）91.214.188.126这个IP是一台美国服务器的IP，但是iplocation.net确显示为“荷兰（Netherlands）”，如附图1所示。
（2）89.37.58.254这个IP是一台日本服务器的IP，但是iplocation.net确显示为“罗马尼亚（Romania）”，如附图2所示。

有什么办法能"准确"查询一个ip的归属地呢？ 可以采用路由追踪的方法，查看路由的最后几跳所在的位置。
（1）例如附图3所示，是对91.214.188.126的路由追踪结果，可以看到数据最终跑到了美国，因此它肯定是一个美国IP。
（2）再例如附图4所示，是对89.37.58.254的路由追踪结果，可以看到数据跳到了日本，因此它肯定是一个日本IP。

PS：这个图像化的路由追踪工具叫做Best Trace。
另外也可以使用这个traceroute这个在线工具>>>http://t.cn/E51F76C。

• 
• 
• 
• 

【逆向分析】CMCC“和助手”APP(2.9)HTTP加密方式分析
1. 直接抓包会发现“和助手”的请求和应答数据都是加密的。如附图1所示。
下面来分析下加解密算法，最终目的是实现直接和服务端进行HTTP交互。

2.APP运行后会释放gatewayClient-2-9目录，里面是HTML和JS文件。通过JS里的关键词得知，“和助手”采用的WADE-MOBILE框架。奇怪的是关于WADE-MOBILE网上的介绍很少，只找到这篇有用的介绍http://www.docin.com/p-2187443660.html，大体了解到这个框架使得安卓APP能够使用HTML+JS实现前端展示，通过JS代码调用安卓API实现业务功能（比如与服务端交互）。

3. 从common.js中的callSvc()，追踪到mobile-client.js中的Mobile.dataRequest()，继续追踪到wade-mobile.js中的WadeMobile.dataRequest()，继续追踪到 androidExecute()，最后追踪到mobile-core.js中的PluginManager.exec()。JS里通过PluginManager.exec()来实现调用安卓Java代码里的功能。如附图2所示。

4. 通过PluginManager.exec()调用的函数名，在Java代码中可以寻找到具体的实现。例如"dataRequest"，应该是实现后台交互的。在Java代码中找到dataRequest()的实现如附图3所示。

通过进一步跟踪，在transPostData()中可以看到HTTP参数的封装过程，如附图4所示。
这里的key是DES的秘钥，发给服务端用于解密客户端数据。data是要发送的数据部分，也被使用MobileSecurity.requestEncrypt()加密了。

需要注意的是这个key本身也是经过加密的，查看MobileSecurity.getDesKey()代码如附图5所示，这里key的值是经过RSA加密的（公钥位于res\raw\public_key）。另外，这里的key并不是固定的，是在每次MobileSecurity类初始化的时候随机生成的，如附图6所示。
另外，DESKeySpec(k)时，如果k的长度如果超过8字节，将只取前8字节。

应答数据的解密是通过MobileSecurity.responseDecrypt()实现的，附图7和8所示。

梳理一下“和助手”的加解密流程：
（1）APP每次会生成一个随机的key用于DES加解密。
（2）HTTP请求时会把key作为一个参数（使用RSA加密后）传递给服务端，同时将其它数据通过DES加密后放到data参数中。
（3）服务端接收到数据后，先用RSA私钥解密出key的明文，然后根据key再DES解密出data明文。
（4）服务端将HTTP应答数据也使用该key进行DES加密后回送。
（5）客户端收到HTTP应答数据后使用该key进行DES解密。

如附图9所示，是我们对服务端应答数据解密后的一个示例（中文部分显示为乱码）。

• 
• 
• 
• 
• 
• 
• 
• 
• 

【疑问】Intel的CPU比AMD的CPU对安卓模拟器的支持更好？同一个版本的安卓模拟器、同一个APP、同样的HOOK代码，在Intel下稳定运行，但在客户的AMD下出现各种各样的问题（应用闪退、应用崩溃、桌面卡死）。然后让客户换了一个Intel的环境试了下，没任何问题。 ​​​​

【经验分享】如何查询一个代理（IP）是机房IP（Datacenter IP）还是家庭IP（Residential IP）？

这里推荐一个查询网站：IPHub，网址是http://t.cn/A6bOvWpt。
输入待查询的IP，点击“Lookup”按钮。
1. 如果查询结果Type字段中含有“Residential”字样，则说明是家用IP。如附图1、2所示。
2.如果查询结果Type中仅含有“Hosting”字样，而无“Residential”字样，则说明是机房IP。如附图3所示。

顺便说一下，如果你的业务需要使用家庭IP（使用机房IP会被风控），例如做亚马逊测评。可以戳这里购买 >>> http://t.cn/A6bOvWpq。

• 
• 
• 

【经验分享】周边POI数据采集的时候常常会因为搜索中心点选取不足导致最终数据缺失的问题，在这里我们提出了一种利用arcpy实现的对待采集区域网格化，并导出区域内网格中心点坐标的的思路，通过这种方式可以保证对待采集区域的完整覆盖。 查看详情戳这里 >>>  http://t.cn/A6ba1Kr8 ​​​​

• 
• 
• 
•