大数据领域的岗位还是比较多的,尤其是大数据开发岗位,目前正逐渐从大数据平台开发向大数据应用开发领域覆盖,这也是大数据开始全面落地应用的必然结果。
大数据专业,全称:数据科学与大数据技术
大数据技术主要是围绕数据本身进行一系列的数据价值化操作,包括数据的采集、整理、存储、安全、分析、呈现和应用等,其中数据分析是大数据价值化的重要步骤。大数据最后要实现的是数据超融合,应用到实际场景,产生价值,大数据的价值才会体现出来。
当前,需要处理的数据量已经大大超过处理能力的上限,从而导致大量数据因无法或来不及处理,而处于未被利用、价值不明的状态,这些数据被称为“暗数据”。据国际商业机器公司(IBM)的研究报告估计,大多数企业仅对其所有数据的1%进行了分析应用。大数据方面的人才需求量还是很大的。
大数据开发工程师
大数据开发主要是基于大数据服务平台,很多大中型业务应用包括企业级应用和各类网站。能够进行构建大数据应用程序平台和开发分析应用程序。
大数据分析师
大数据分析师主要负责数据挖掘,使用Hive,Hbase等技术,专门为从事行业数据收集、整理、分析和基于数据的专业人士进行行业研究、评估和预测。通过使用Spotifre,Qlikview和Tableau等,新数据可视化工具能够实现数据的数据可视化和数据呈现。
数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++。有时要用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。