Python在大数据领域是怎么来应用的

Question

如题所述

Answer 1

比如使用array, numpy.array。
主要的思路是节约内存的使用，同时提高数据查询的效率。
如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按mapreduce的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。