海量数据处理

海量数据处理相关 所谓海量数据处理，是指基于海量数据的存储、处理、和操作。正因为数据量太大，所以导致要么无 法在较短时间内迅速解决，要么无法一次性装入内存。 事实上，针对时间问题，可以采用巧妙的算法搭配合适的数据结构（如布隆过滤器、哈希、位图、堆、 数据库、倒排索引、Trie 树）来解决；而对于空间问题，可以采取分而治之（哈希映射）的方法，也就是 说，把规模大的数据转化为规模小的，从而各个击破。 此外，针对常说的单机及集群问题，通俗来讲，单机就是指处理装载数据的机器有限（只要考虑 CPU、 内存、和硬盘之间的数据交互），而集群的意思是指机器有多台，适合分布式处理或并行计算，更多考虑 节点与节点之间的数据交互。 一般说来，处理海量数据问题，有以下十种典型方法： 1. 哈希分治； 2. simhash 算法； 3. 外排序； 4. MapReduce； 5. 多层划分； 6. 位图； 7. 布隆过滤器； 8. Trie 树； 9. 数据库；