大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,
第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。
第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。