海量数据，数据挖掘，数据存储方法
现在对网络服务来讲，用户量是非常大的，用户信息或者其他数据也是非常巨大的，如何对海量数据进行存储，进行挖掘，进行筛选等问题，对服务器的响应效率来讲影响很大，关键要设计出良好的数据结构来存储，有良好的算法才好，本文综合了网络上一些其他的文章一般提供下面几个解决方案：Bloom FilterHashBit-MapHeap双层桶划分数据库索引倒排索引（Inverted Index）外排序Trie树Map
·
现在对网络服务来讲，用户量是非常大的，用户信息或者其他数据也是非常巨大的，如何对海量数据进行存储，进行挖掘，进行筛选等问题，对服务器的响应效率来讲影响很大，关键要设计出良好的数据结构来存储，有良好的算法才好
一般提供下面几个解决方案：
- Bloom Filter
- Hash
- Bit-Map
- Heap
- 双层桶划分
- 数据库索引
- 倒排索引（Inverted Index）
- 外排序
- Trie树
- MapReduce
关于这些算法的详细介绍
可以参看这篇文章，写的很不错
http://blog.redfox66.com/category/e6b5b7e9878fe695b0e68dae.aspx
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)