|
2012年的IT业界，吸引众人目光的热门**包括了Big Data(又称大数据、巨量数据、海量数据），在IT业界，每隔两到三年，就会出现轰到一时但很快就会被人遗忘的流行术语，而继云端之后能够超越流行术语境界并深植人心的应该就是大数据 。 
众所周知，大数据当中含有许多的隐藏价值，将收到的数据应用到实际的案例中，还是有一定的流程，主要分为三步：
采集，大数据的采集是指利用多个数据库来接收发自客户端，如网页、手机应用或者传感器等的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。如：电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
2.导入、预处理，虽然采集端本身会很多数据库，但是如果要对这些大数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据中，或者分布式存储集群，并且在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。 
3.统计、分析，统计与分析主要利用分布式数据库、或者分布式计算来对存储于其内的海量数据进行常用的分析和分类汇总等，以满足一般性的分析需求。在这方面，一些实时性需求会用到美国易信安公司的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特和挑战是分析涉及的数据量大，其对系统资源，特别是输入及输出时会占用极大的内存空间。 
4.挖掘，与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，而达到预期的效果，从而实现一些高级别数据分析的需求。比较典型的算法有用于聚类的K-means、用于统计学习的SVM和用于分类的NaiveBayest等。该过程 的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘的算未能都以单线程为主。
整个大数据处理的一般流程至少应该包括这四个步骤，才能算得上是比较完整的，对大数据比较感兴趣的，可以关注思途，及时查阅相关信息，如有疑问，请批评指正。
| 
楼主