大概一年多以前，和几个小伙伴均认同一个趋势：觉得通过技术手段获取网上越来越丰富的数据，并基于这些数据做分析及可视化，必能产生有价值的结果，帮助大家改善生活。(大数据被叫烂了，所以用低调的方式来解释我们的初心)

第一步：开工，为基金服务

恰巧和几个基金的朋友(包括对冲基金和VC/PE基金)聊到这个趋势，他们非常认同这个观点并愿意付费，认为可以用这种实时且定量的方式来跟踪一些上市公司或者私有公司旗下的产品，来确定谁是有价值的投资目标。于是立马获得订单并促使我们开干，因为考虑到Python灵活及各类爬虫库的优势，最终选用Python来做数据获取的主体架构;也有新潮的小伙伴使用Go，同时用Go搭建了一个很酷的框架来制造分布式的智能爬虫，应对各种反爬策略。抓取数据主要来自于如下网站：

• 各应用商店：获取App的下载量及评论
• 大众点评及美团网：餐饮及各类线下门店消费及评价情况
• 汽车之家及易车：汽车的相关数据
• 58及搜房;房屋租售数据
• 新浪微博：用户的各种发言及舆论
• 财经数据：雪球及各类财经网站
• 宏观数据网站：天气、12306火车、机票网站

最初的产品纯粹是为基金服务。下图是在各个维度找出最有价值的App，各种量级范围内在30天/7天增长最快及评价最好榜单。(顺便吹一下牛，我们这个榜单很早就发现小红书App的快速增长趋势以及在年轻人中的极佳口碑) 

下图是对某个App的下载量跟踪，帮着基金做尽职调查。 

下图是某上市公司的门店变化情况，帮着基金跟踪TA的增长情况。 

下图是国内各个机场的实时流量，帮着基金跟踪国内出行的实时情况，或许能从一个侧面反映经济是否正在走入下行通道。 

第二步：扩展思路，开源和分享

为基金服务，虽然给钱爽快，但是也让方向越走越窄。首先，基金希望信息是独享的和封闭的，投资就是投资人之间的零和博弈，公开的信息就迅速会一钱不值，基金最在乎的就是信息的独享及提前量，所以各个基金都希望我们呈现的数据及分析结果能够独家。这样迅速让我们的方向收窄以及工作的趣味性降低，其次，毕竟对于基金而言，能分析的投资对象及方向是非常有限的。而且现阶段，大部分对冲基金里面的分析员的数据分析能力其实很弱：这些分析员里面能用VBA或者能在Excel里面使用矩阵及向量乘法的人几乎可以惊为天人;能写offset函数的人，就应该直接提拔了;大部分人停留在一个个数网页找数据的阶段。所以和他们起来十分费劲，除了提供一些粗暴的数据，并不能产生太有价值的结果。

还共享了一些和青年生活最相关的分析及数据。下图是深圳市早晨高峰时段某类人群出行的热点图，通过热点分析，试图找出这类人群的居住和上班的聚集区。 

下图反映了在各时间段在深圳科技园附近下车的人群密度。 

写这些报告，团队没有挣到一分钱，但是整个成就感和满意度大大上升。同时，在Python及各种技术上的积累也提高颇多，数据量级的积累也越发丰富，数据相关的各项技术也在不断加强。同时，顺势扩大了数据源：京东、淘宝等数据也纳入囊中。

第三步：扩展客户

在知乎上写这些报告，除了收获知名度，还收获意外之喜，一些知名品牌的消费品公司、汽车公司及互联网公司，主动找我们做一些数据抓取及分析。整个团队没有一个BD，也从来不请客户吃饭。

于是我们顺势做了如下的网站以及一个成熟的Dashboard框架(开发数据监控的Dashboard超有效率)，目前主要监控和分析母婴、白酒、汽车及房地产四大行业，都是一些愿意花钱进行深度了解用户以及行业趋势的公司。收入自动上门，很开心! 

下图是抓取汽车之家的数据，做出BBA(奔驰宝马奥迪)这三大豪华品牌的交叉关注度，帮助品牌及4A公司了解他们用户的忠诚度以及品牌之间迁移的难度。 

下图是抓取新浪微博的数据，分析广东白酒的消费场所 

下图是抓取新浪微博的数据，分析广东白酒和各类食品的相关度。