大数据在市面上的工作内容 - yingziaiai/SetupEnv GitHub Wiki

大数据在企业中的六种典型应用 http://news.ifeng.com/a/20160510/48745942_0.shtml

大数据的应用及带给企业的挑战

1、企业数据处理面临的挑战 (1)非结构化和结构化数据的统一及整合随着互联网和通信技术的迅猛发展，企业中的数据类型早已不是单一的以文本为主的结构化数据，还充斥着广泛存在于社交网络、物联网、电子商务等之中的网络日志、音频、视频、图片、地理位置信息等多类型的数据。这些数据称为非结构化数据。据统计，企业中

2)跨业务平台数据的关联当今企业环境中存在着：不同业务模块的数据分布在不同的系统平台，这些被割裂的数据在单一业务平台无法得到有效利用；不同业务模块的数据无法实现共享、关联；仅对关键业务的数据进行收集、整合和利用，非关键业务的数据被忽视等现状。企业中的数据由于业务模块的划分而被割裂开来．单一业务模块的数据价值远远小于所有业务模块数据关联起来进行分析运用，企业将如何实现跨业务平台数据的关联与整合将面临巨大的挑战。

(3)面向数据的实时分析随着经济的飞速发展，企业所面临的市场行情也在瞬息万变，企业曾经惯用的事后处理机制已经不能应对，企业需要实时洞察业务运营状态，以便迅速应对不断变化的市场形势。企业业务的运营状态将体现在海量数据的快速处理和有效进行实时分析的基础上。但随着大数据的爆炸式增长，与企业相关的数据可能在无限量的不断增长，这些不断变化的数据，需要企业进行全面、实时的分析。

(4)数据驱动的战略决策社交网络、移动互联网、企业信息化近几年迅猛发展，不断产生的海量数据将越来越影响企业从战术到战略制定的各个方面。麻省理工学院斯隆管理学院教授Erik Brynjolfsson表示，基于数据分析的决策实现的生产率增长，要比任何其他因素5%-6%。这种生产率增长能够决定大多数行业的胜负。企业决策行为将基于数据和分析而做出，而非基于经验和直觉，这对于企业是一个巨大的挑战。

2、机器数据应用场景分析机器数据是由机器产生的数据，也是大数据最原始的数据类型，包括了日志文件、各种历史记录、Web 服务器日志等。它们会由网络交换机、企业应用系统、网络以及安全设备等产生。庞大的数据资源使得各个领域开始了量化进程，无论而对物联网、电子商务、医疗，还是电信、金融领域，在大数据时代，满足机器数据存储、管理、检索、分析、可视化等应用需求，结合IT运维、系统安全、搜索引擎、电子商务等特定应用的需求实现大数据环境下机器数据的存储、管理、检索和分析

http://www.ciotimes.com/bigdata/99578.html 数据分析师

这个职位大概是最常见的，“数据分析师”指的是不同行业中，专门从事行业内数据搜集、整理、分析，并依据这些数据做出研究、评估的专业人员。


这类职缺通常要求应征者有数学、统计、或是电脑科学等的相关学位跟背景，最常见的工作技能要求是 SQL、R、SAS、Excel，以及随着需要处理的数据量日渐庞大，Hadoop 也被许多公司列为必备的基本条件之一。


美国地区数据科学家的年薪大约在 $36,139 到 $77,696 美元之间（约等于年薪人民币 22 万到 48 万），中间值大约是 $51,224 美元（ 32 万）。拥有统计分析、数据建模（Data modeling）以及 SAS 等技能的应征者一般来说更有机会得到高薪。


数据科学家


被《哈佛商业评论》誉为“21 世纪最性感工作”的数据科学家可以说是数据分析师的进化版。


两者的分别可以从职称的不同看出端倪：数据“分析师”统计分析数据作为评估基准来设计营销方案时，数据“科学家”则是把心力放在设计分析数据的演算法，提出不同的理论来测试这些结论，最后建立统计模型来判断消费者行为、找出最关键的行为诱发因子。


因此数据科学家需要具备程式开发的能力，例如 Java 或 Python，而且对机器学习领域有所瞭解。


美国地区的数据科学家年薪大约落在 $63,192 到 $142,118 美元间，中间值是 $96,579 美元，几乎是数据分析师的两倍。


数据架构师


数据架构师要负责建立和维持公司数据储存的技术基准，策划硬件和软件的结构，确保数据储存系统可以支持未来的数据量和分析需求。数据架构师通常拥有电脑科学学位，并且精通数据库相关知识，像是关联式数据库（Relational database）、数据仓储（Data warehouse）、以及分散式数据系统（Distributed storage system）等等。美国地区数据架构师的薪资范围是 $65,928 到 $147,868 美元，中间值为 $105,581 美元，以目前的趋势来看，比起 SQL ，擅长 OracleDB 的人才较容易得到高薪。


首席资讯长


首席资讯长（简称 CIO）是负责企业内部资讯系统和资讯资源规划和整合的高级行政管理人员，简单来说，这个最资深、最高级的职位要担起所有数据策略相关的责任。


CIO 通常会管理一个大团队，团队中的资深数据分析师、数据科学家会直接与 CIO 呈报，最后的决策再由 CIO 上报给董事会员。由于担任 CIO 的人选必须拥有一定的经验，因此这个职位通常会由董事会直接指派。


美国的公司通常给 CIO 的薪水从 $81,226 起跳至 $269,033 美元不等，中间值是 $142,269 美元。


你可能也听过数据工程师（Data engineers）、大数据分析师（Big data analysits）、数据专家（Data expert or Data specialist）等等职称，不过基本上这些都可以归类到上述四个职位。虽然拥有不同的职称，但往往这些角色的职责范围经常互相重叠，端看各公司如何分配工作内容。