IT程序员可以从事大数据开发方面的工作吗

Question

如题所述

Answer 1

新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体、3D打印机、物联网……在互联网时代，各种新词层出不穷，令人应接不暇。毫无疑问，这些新趋势的到来，会诞生一批新的工作岗位，下面将分别为大家介绍杭州大数据程序员的就业岗位：

一、算法工程师
算法工程师，根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。另外数据挖掘、互联网搜索算法这些体现大数据发展方向的算法，在近几年越来越流行，而且算法工程师也逐渐朝向人工智能的方向发展。
二、商业智能分析师
算法工程师延伸出来的商业智能，尤其是在大数据领域变得更加火热。商业智能分析师往往需要精通数据库知识和统计分析的能力，能够使用商业智能工具，识别或监控现有的和潜在的客户。收集商业情报数据，提供行业报告，分析技术的发展趋势，确定市场未来的产品开发策略或改进现有产品的销售。
三、数据挖掘工程师
数据挖掘工程师，也可以叫做“数据挖掘专家”。数据挖掘是经由分析每个数据，从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。数据挖掘专家或者说数据挖掘工程师掌握的技能，能够为其马上创造财富。
四、数据库开发和管理
数据库开发和管理在大数据时代显得尤为重要，相关的数据库管理、运维和开发技术，将成为广大BI、大型企业和咨询分析机构特别看重的技能体现。
比如知名的Hadoop分布式数据库HBase的数据管理，需要借助HRegion、HMaster、HClient组成的体系结构从整体上管理数据。这些也都需要有对Hadoop深刻理解和业务的精通才能胜任。而除此以外的大数据的存储管理、内存计算、包括基于这些应用上的平台开发等等，也得会越来越受市场欢迎。
五、系统架构师
众所周知，云计算和大数据的出现，使得传统的数据中心基础设施难以胜任;另一方面，日益激烈的市场竞争和移动互联等商机的出现，势必会给企业业务带来深刻变革。这种变革和IT架构转型，都会牵扯到IT系统架构这个核心问题。相比之前介绍的那些IT技能和所对应的岗位，系统架构师的规划部署能力显得尤为重要，它牵扯的是整个面而不是某个领域某个点的痛点。
六、系统安全师
同样的，网络、计算、存储还是系统架构，也都需要关注安全问题，而安全在现在的云计算环境下，个人隐私和企业敏感数据的保护也不断被强化。相比传统来说，系统安全师将更多的会结合具体的业务展开，而根植于系统平台和底层基础设施的系统安全，则更多的会出现在运营商、服务商对此类人才的需求上。
当今世界，科技进步日新月异，互联网、云计算、大数据等现代信息技术深刻改变着人类的思维、生产、生活、学习方式，深刻展示了世界发展的前景，学习大数据技术已经成为一股不可阻挡的新潮流。

Answer 2

1、Java程序员
作为Java开发者，你对软件工程的规则已经了然于心，能够设计软件系统执行复杂任务。数据科学正是关于开发“数据产品”的一门科学，主要是基于数据和算法的软件系统。
对于Java程序员来说，第一步需要了解机器学习的各种算法：现在有哪些算法，都能解决哪些问题以及如何实现。另外还需要学习使用R和Matlab等建模工具，此外WEKA、Vowpal
Wabbit和OpenNLP等库也为大多数常见算法提供了经过验证的实现方法。
2、　Python程序员
如果你是Python程序员，对软件开发和脚本编写一定很熟悉，也许已经在使用很多数据科学中常见的库例如NumPy和SciPy。
Python对数据科学应用的支持很好，尤其是NumPy/Scipy, Pandas, Scikit-learn,
IPython等用于探索性分析的库，以及可视化方面的Matplotlib。
在处理大型数据集方面，多学些Hadoop及其与Python的流式集成。
3、　统计学家与应用科学家
如果你有统计学或者机器学习的背景，那么你很可能很多年前就开始使用诸如R, Matlab或SAS进行回归分析、聚类分析等机器学习相关任务。
R、Matlab和SAS是很强大的统计分析和可视化工具，对于很多机器学习算法都有很成熟的实现方法。
但是，这些工具通常被用于做数据勘探和模型开发，很少单独用来开发产品级的数据产品。在开发端到端的数据产品时，大多数情况下，你需要需要同时用到其他软件模块如Java、Python等，并与Hadoop等数据平台整合。
显然，熟悉一门或者多门现代编程语言，例如Python或Java是你的首要任务。此外，与有经验的数据工程师紧密合作将有助于更好地理解他们开发生产级数据产品所用到的工具和方法。
4、业务分析师
如果你的背景是SQL，那么说明你已经跟数据打交道很多年了，你很清楚如何通过数据获取业务分析结果。Hive能让你以你熟悉的SQL语言访问Hadoop上的大数据集，因此是你步入大数据殿堂的首选。
数据产品通常需要使用SQL无法胜任的高级机器学习和统计，因此对于业务分析师来说，进入数据科学领域的第二个重要步骤就是在理论层面深入了解此类算法(例如推荐引擎、决策树、NLP)，并熟悉目前的实现工具如Mahout,
WEKA,或Python的Scikit-learn。
5、　Hadoop开发者
作为Hadoop开发者，你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉Pig、Hive、HBase并有丰富的Java经验。
第一步，你需要深入了解机器学习和统计，以及这些算法面向大数据集的高效实现方法。Mahout是个不错的开始，可以在Hadoop上实现上述很多算法。
另外一个需要关注的领域是数据清理(data
cleanup)，很多算法在建模前都会为数据分配基本结构。但不幸的是，现实中数据大多很“脏”，清理这些数据是数据科学中一项很繁重的工作。Hadoop通常是建模前大规模数据清理和预处理的工具选择。本回答被网友采纳

Answer 3

这个具体的需要看你所擅长的领域了，大数据分析是目前比较火的一个分支，你可以参考一下大数据分析涉及的课程你现在所涉及的课程看看有没有重复的