传统企业是否需要搭建大数据团队?

如题所述

是否需要搭建大数据团队要看这几个问题了:
1、业务部门有无大数据诉求?这里并不是说业务部门希望使用什么大数据技术,而是说业务部门希望某个模块希望更“智能”,例如有商品推荐、有实时告警、有更快即时的生产经营分析报表……,种种诉求都是业务诉求,但是既有的技术无法支撑,这时候就需要引入大数据技术;通常,业务诉求是大数据的出发点,也是最终目标,也是让老板看到“价值”的地方,如果搭建了大数据团队,研究了大数据技术,却没有解决业务问题,老板会觉得这是成本的浪费。
2、业务部门的诉求细化:业务需求决定技术架构,搭建大数据团队之前,需要先了解业务部门的规划和诉求,基于这个诉求再来设计技术架构,技术架构的设计可以与团队搭建并行,二者相辅相成,大数据的技术框架非常多,没有什么人是精通所有框架的,一般只能精通其中的一两门就不错了。
3、在技术架构设计之前:是否采用独立搭建大数据平台?是否可以采用公有云平台?独立搭建的特点是数据自有,且可以深入研究大数据技术,比较适合规模较大,技术能力强的企业;采用公有云平台,特点是大数据利用的门槛大大降低,已经有封装好的,比较成熟稳定的大数据平台,比如阿里云的数加平台,腾讯云的数智方略等,其中阿里云的技术相对成熟度高一些;
4、技术架构的设计:如果确定不采用公有云的话,就是自己搭建大数据平台,那么就需要理清楚以下几个问题:数据在哪里?需要支撑多大量的数据计算?需要做哪些数据应用?支撑这些数据应用看需要如何做数据治理和分析挖掘?……这里是技术架构了,这并不矛盾,就像刚才说的,技术架构与人才团队建设需要并行。
5、已有团队的人员组成情况:笔者参与的多个项目中都会遇到,对接的客户都是传统企业,对ERP技术挺了解的,写SQL也还行,对传统数仓有一定了解,但是对于最新的大数据技术栈就很不了解了,解决办法有2种,第一是招人,从外面招聘大数据开发或架构师,第二是直接采购商用的易用的大数据平台。
对第一种方法有好处也有坏处:好处是招来的人是自有人员,相当于企业自己掌握了这门技术,这种比较适合金融、运营商或财力雄厚、IT基础设施比较好的大型企业;弊端是招聘可能并不容易,大数据的优秀人才一般集中在互联网领域,跳槽到传统企业的可能并不多。
第二种方法是采购已有的商用平台。市面上有很多成熟的商用大数据平台,Cloudera、星环、华为、袋鼠云、亚信等等,都有对应的产品线,均适用于传统企业。
以袋鼠云大数据平台产品数栈为例说明下商用大数据平台特点:
1、兼容性强:基于开源Spark(离线)、Flink(实时)计算引擎,绑定性不强,很多企业担心被某一家供应商绑定,但数栈完全基于开源,不存在这个问题;
2、简单易用:数栈包含数据开发套件、数据计算引擎(Spark、Flink)、数据治理套件(数据地图、数据质量、数据模型)、数据应用引擎(数据API),覆盖了企业内的数据采集、数据统计分析与挖掘、数据治理、数据开放的全链路,并同时覆盖离线分析与实时分析,满足企业内的各种数据处理需求。
3、性价比高:很多传统企业的数据量其实并不是特别大,例如几百GB、1,2TB,数栈最小支持3台虚拟机部署,与其他厂商动辄几十、上百个节点相比,成本可以降低很多;数栈与搭建大数据团队的关系又是怎样的呢?——数栈是开发团队的生产力工具,有了它可以让开发团队用大数据平台用的更爽,更好,解决需求的速度更快,同时基于开源的技术,开发人员编写MapReduce代码进行运行,可以在数栈上面配置任务调度、依赖关系,查看运行日志,也加快了团队的成长速度,因此数栈的引入,其实是开发团队的一个好帮手,让团队更有效率。
温馨提示:答案为网友推荐,仅供参考
相似回答