求助：哪些公司可以提供大数据处理分析解决方案

Question

如题所述

Answer 1

随着“大数据时代”的来临，企业越来越重视数据的作用，数据给企业带来的价值也越来越多。本文档将介绍大数据给企业带来的机遇与挑战以及企业的大数据解决方案。

第一步先搞清楚什么是大数据？他不是简单的大量数据或海量数据，而是有着4V特征的数据金矿。他给我们的企业会带来机遇与挑战。

第二步我们根据大数据的特征，分析企业大数据平台要迎接大数据的挑战，应该具备什么样的能力。

第三部分，基于大数据平台要求，我们提出一个企业大数据的技术解决方案，介绍解决方案是如何解决大数据难题。

最后我看一看大数据应用当前存在的问题，未来将会怎样发展。

什么是大数据？

从数据角度看，大数据不是简单的大和多，大数据致电一把柒叁耳零一泗贰五领，而是有着4V的特征。简单说就是体量大、样式多、速度快、价值低。

体量大：最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。我们说大数据时，一般企业数据量要达到PB级才能称为大数据。

样式多：除了量大，大数据还包括了结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息等各种类型数据，已经不是以往的关系型数据库可以解决的了。

速度快：这里说的是数据采集的速度，随着电子商务、移动办公、穿戴设备、物联网、智能小区等等的发展，数据产生的速度已经演进到秒级。企业要求能够实时获取数据，实时进行决策。

价值低：指的是价值密度，整个数据的价值是越来越高，但是因为数据量的壮大，数据价值密度也相应降低，无价值数据要占据大部分，企业需要从海量的业务中寻找价值。

从开发人员角度看，大数据和以往的数据库技术、数据仓库技术是不同的，他代表以Hadoop、Spark为首的一系列新技术。

这类技术的显著特点是：分布式、内存计算。

分布式：简单的说，分布式就是将复杂的、费时的任务拆分为多个细小的任务，并行处理。这里的任务就包含了数据采集、数据存储、数据处理。

内存计算：实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。内存计算非常适合处理海量的数据，以及需要实时获得结果的数据。比如可以将一个企业近十年几乎所有的财务、营销、市场等各方面的数据一次性地保存在内存里，并在此基础上进行数据的分析。

数据挖掘：大数据的核心实际上还应该包括数据挖掘技术，这是一个和统计学联系紧密的技术，粗略的划分为分类、聚类、预测、关联四大类，可从大量的、不完全的、模糊的数据中利用数学方法，提取出潜在的规律或知识。

大数据平台要求

大数据的能力分为数据采集、数据存储、数据计算或处理、数据挖掘、数据展现五个方面。

数据采集：需要对于海量数据、实时数据的采集能力，这是数据利用的第一步。

数据存储：对应大数据特点，需要大容量、高容错、高效率的存储能力，这是数据利用的基础。

数据计算：需要强大、廉价、快速的数据处理货计算能力，强大对应大数据的量大、类型多，廉价对应大数据的价值密度低，快速对应大数据的速度快，这是大数据能够发展的关键。

数据挖掘：要能够全角度、多方位的立体分析挖掘数据价值，应用好数据挖掘才能将数据转化为价值，这是数据利用的核心。

数据展现：多途径、直观、丰富的数据展现形式是数据的外在形象，这是数据应用的亮点，是能够得到用户认可的窗口。

以上是对于大数据平台需要解决的问题，必须具备的能力，数据提出的要求。

技术解决方案

企业大数据解决方案从数据处理流程上分为数据采集层、数据存储层、数据计算层、数据挖掘层、数据展现层，每一层解决大数据所需的关键难题。其中标黄的部分是传统数据处理技术。

数据采集层：

数据采集技术分为实时采集和定时采集，实时采集采用Oracle GoldenGate等工具，实时增量采集数据，保证数据的及时性；定时采集采用SAP Data Services等工具相结合的方式，定时抽取数据，主要用于大批量、非实时性数据。加入kettle、sqoop等分布式ETL工具，丰富多样化数据抽取服务，同时加入整合实时数据的kafka服务，处理大量实时数据。

数据存储层：

数据存储区在传统oracle的基础上，加入分布式文件系统、分布式列式数据库、内存文件系统、内存数据库、全文搜索等模块。其中，分布式文件系统ceph由于拥有数据分布均衡，并行化度高等特性，所以用于存储非结构化数据；分布式文件系统Hdfs由于拥有极佳的扩展性和兼容性，用于存储其他结构化数据；列式存储数据库hbase主要用于存储特定需求的海量数据，以供运算查询等服务。

数据计算层：

计算层采用标准SQL查询、全文搜索、交互分析Spark、实时数据处理Streaming、离线批处理、图计算Graph X等技术，对结构化数据、非结构化数据、实时数据、大批量数据进行数据计算处理。

核心计算方式spark内存计算引擎的优势：

轻量级快速处理。

易于使用，Spark支持多语言。

支持复杂查询。

实时的流处理。

可以与Hadoop和已存Hadoop数据整合。

可以与Hive整合 

数据挖掘层：采用Spark_Mllib、R、Mhout等分析工具，依据模型分析引擎创建模型、算法库。由模型算法库对模型进行训练，生成模型实例，最后依据模型实例进行实时决策及离线决策。

数据展现层：提供门户展现、数据图表、电子邮件、办公软件等多种数据分析方式，在展现途径上可支持大屏幕、电脑桌面、移动终端等。

结束语

随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题终将不会成为问题。真正会制约或者成为大数据发展和应用瓶颈的有三个环节：

第一、数据收集和提取的合法性，数据隐私的保护和数据隐私应用之间的权衡。

任何企业或机构从人群中提取私人数据，用户都有知情权，将用户的隐私数据用于商业行为时，都需要得到用户的认可。然而，目前，中国乃至全世界对于用户隐私应当如何保护、商业规则应当如何制定、触犯用户的隐私权应当如何惩治、法律规范应当如何制定等等一系列管理问题都**滞后于大数据的发展速度。未来很多大数据业务在最初发展阶段将会游走在灰色地带，当商业运作初具规模并开始对大批消费者和公司都产生影响之后，相关的法律法规以及市场规范才会被迫加速制定出来。可以预计的是，尽管大数据技术层面的应用可以无限广阔，但是由于受到数据采集的限制，能够用于商业应用、服务于人们的数据要远远小于理论上大数据能够采集和处理的数据。数据源头的采集受限将**限制大数据的商业应用。

第二、大数据发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。

大数据对基于其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握，单个企业仅仅基于自己掌握的独立数据，无法了解产业链各个环节数据之间的关系，对消费者做出的判断和影响也十分有限。在一些信息不对称比较明显的行业，例如银行业以及保险业，企业之间数据共享的需求更为迫切。例如，银行业和保险业通常都需要建立一个行业共享的数据库，让其成员能够了解到单个用户的信用记录，消除担保方和消费者之间的信息不对称，让交易进行的更为顺利。然而，在很多情况下，这些需要共享信息的企业之间竞争和合作的关系同时存在，企业在共享数据之前，需要权衡利弊、避免在共享数据的同时丧失了其竞争优势。此外，当很多商家合作起来，很容易形成卖家同盟而导致消费者利益受到损失，影响到竞争的公平性。大数据最具有想象力的发展方向是将不同的行业的数据整合起来，提供全方位立体的数据绘图，力图从系统的角度了解并重塑用户需求。然而，交叉行业数据共享需要平衡太多企业的利益关系，如果没有中立的第三方机构出面，协调所有参与企业之间的关系、制定数据共性及应用的规则，将**限制大数据的用武之地。权威第三方中立机构的缺乏将制约大数据发挥出其最大的潜力。

第三、大数据结论的解读和应用。

大数据可以从数据分析的层面上揭示各个变量之间可能的关联，但是数据层面上的关联如何具象到行业实践中？如何制定可执行方案应用大数据的结论？这些问题要求执行者不但能够解读大数据，同时还需深谙行业发展各个要素之间的关联。这一环节基于大数据技术的发展但又涉及到管理和执行等各方面因素。在这一环节中，人的因素成为制胜关键。从技术角度，执行人需要理解大数据技术，能够解读大数据分析的结论；从行业角度，执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联，并且将大数据得到的结论和行业的具体执行环节一一对应起来；从管理的角度，执行人需要制定出可执行的解决问题的方案，并且确保这一方案和管理流程没有冲突，在解决问题的同时，没有制造出新的问题。这些需求，不但要求执行人深谙技术，同时应当是一个卓越的管理者，有系统论的思维，能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。

Answer 2

极其流行，同样也是竞争力极其大的一种商业模式。虽然国内软件开发公司都发展壮大起来了，但是各地软件开发公司的实力及资质仍然参差不齐。下面为大家介绍下近期国内软件开发公司的排名汇总。

　　1：华盛恒辉科技有限公司

　　上榜理由：华盛恒辉是一家专注于高端软件定制开发服务和高端建设的服务机构，致力于为企业提供全面、系统的开发制作方案。在开发、建设到运营推广领域拥有丰富经验，我们通过建立对目标客户和用户行为的分析，整合高质量设计和极其新技术，为您打造创意十足、有价值的企业品牌。

　　在军工领域，合作客户包括：中央军委联合参谋(原总参)、中央军委后勤保障部(原总后)、中央军委装备发展部(原总装)、装备研究所、战略支援、军事科学院、研究所、航天科工集团、中国航天科技集团、中国船舶工业集团、中国船舶重工集团、第一研究所、训练器材所、装备技术研究所等单位。

　　在民用领域，公司大力拓展民用市场，目前合作的客户包括中国中铁电气化局集团、中国铁道科学研究院、济南机务段、东莞轨道交通公司、京港地铁、中国国电集团、电力科学研究院、水利部、国家发改委、中信银行、华为公司等大型客户。

　　2：五木恒润科技有限公司

　　上榜理由：五木恒润拥有员工300多人，技术人员占90%以上，是一家专业的军工信息化建设服务单位，为军工单位提供完整的信息化解决方案。公司设有股东会、董事会、监事会、工会等上层机构，同时设置总经理职位，由总经理管理公司的具体事务。公司下设有研发部、质量部、市场部、财务部、人事部等机构。公司下辖成都研发中心、西安研发中心、沈阳办事处、天津办事处等分支机构。

　　3、浪潮

　　浪潮集团有限公司是国家首批认定的规划布局内的重点软件企业，中国著名的企业管理软件、分行业ERP及服务供应商，在咨询服务、IT规划、软件及解决方案等方面具有强大的优势，形成了以浪潮ERP系列产品PS、GS、GSP三大主要产品。是目前中国高端企业管理软件领跑者、中国企业管理软件技术领先者、中国最大的行业ERP与集团管理软件供应商、国内服务满意度最高的管理软件企业。

　　4、德格Dagle

　　德格智能SaaS软件管理系统自德国工业4.0，并且结合国内工厂行业现状而打造的一款工厂智能化信息平台管理软件，具备工厂ERP管理、SCRM客户关系管理、BPM业务流程管理、
OMS订单管理等四大企业业务信息系统，不仅满足企业对生产进行简易管理的需求，并突破局域网应用的局限性，同时使数据管理延伸到互联网与移动商务，不论是内部的管理应用还是外部的移动应用，都可以在智能SaaS软件管理系统中进行业务流程的管控。

　　5、Manage

　　高亚的产品 (8Manage) 是美国经验中国研发的企业管理软件，整个系统架构基于移动互联网和一体化管理设计而成，其源代码编写采用的是最为广泛应用的
Java / J2EE 开发语言，这样的技术优势使 8Manage
可灵活地按需进行客制化，并且非常适用于移动互联网的业务直通式处理，让用户可以随时随地通过手机apps进行实时沟通与交易。

Answer 3

上海献峰网络指出：你要的大数据分析解决方案大全都在这

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

一、大数据分析的五个基本方面

1. Analytic Visualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2. Data Mining Algorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3. Predictive Analytic Capabilities（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines（语义引擎）
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management（数据质量和数据管理）

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。

二、大数据处理

周涛博士说：大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。

具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。

采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC 的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有Hadoop的Mahout等。

该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。

本回答被网友采纳