大数据都包括什么

Question

如题所述

Answer 1

现在，大数据已经成为人们热议的话题。那么，你了解大数据吗？你知道大数据具体涵盖哪些内容吗？大数据的关键在于帮助组织掌握核心命脉，实现实时结果的输出。这就需要能够处理数据流的结构，而目前的数据库技术并不适合处理数据流。例如，计算一组数据的平均值可以通过传统的脚本实现。然而，对于移动数据的平均值计算，无论是到达、增长还是分解，都有更高效的算法。
如果你想要建立一个数据仓库，并进行任意维度的大数据分析和统计，可以选择开源产品如R，或者商业产品如SAS。但是，如果你需要的是对数据流进行统计集的建立，逐渐添加或删除数据块，并进行移动平均计算，现有的数据库可能无法满足需求，或者尚未成熟。数据流相关的生态系统也尚未完善。
在与大数据供应商谈判时，你需要了解数据流程处理是否对你的项目至关重要，以及供应商是否有能力提供相应的解决方案。大数据的定义有很多种，以下这种相对有用：小数据的情况类似于桌面环境，数据量在1GB到10GB之间；中数据的数据量在100GB到1TB之间；而大数据则涉及多台机器的分布式存储，数据量包括1TB到多个PB。
如果你在分布式数据环境中工作，并且需要在短时间内处理大量数据，那么分布式处理就显得尤为重要。在这方面，Hadoop是一个广为人知的分布式/并行处理例子，它包含了大型分布式文件系统，并支持分布式/并行查询。