大数据是对海量数据进行存储、计算、统计、分(fēn)析处理(lǐ)的一系列处理(lǐ)手段，处理(lǐ)的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理(lǐ)手段所无法完成的，其涉及的技术有(yǒu)分(fēn)布式计算、高并发处理(lǐ)、高可(kě)用(yòng)处理(lǐ)、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。

　　想要學(xué)好大数据需掌握以下技术：

　　1. Java编程技术

　　Java编程技术是大数据學(xué)习的基础，Java是一种强类型语言，拥有(yǒu)极高的跨平台能(néng)力，可(kě)以编写桌面应用(yòng)程序、Web应用(yòng)程序、分(fēn)布式系统和嵌入式系统应用(yòng)程序等，是大数据工程师最喜欢的编程工具，因此，想學(xué)好大数据，掌握Java基础是必不可(kě)少的!

　　2.Linux命令

　　对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很(hěn)受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。

　　3. Hadoop

　　Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS為(wèi)海量的数据提供了存储，MapReduce為(wèi)海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理(lǐ)、YARN以及Hadoop高级管理(lǐ)等相关技术与操作!

　　4. Hive

　　Hive是基于Hadoop的一个数据仓库工具，可(kě)以将结构化的数据文(wén)件映射為(wèi)一张数据库表，并提供简单的sql查询功能(néng)，可(kě)以将sql语句转换為(wèi)MapReduce任務(wù)进行运行，十分(fēn)适合数据仓库的统计分(fēn)析。对于Hive需掌握其安装、应用(yòng)及高级操作等。

　　5. Avro与Protobuf

　　Avro与Protobuf均是数据序列化系统，可(kě)以提供丰富的数据结构类型，十分(fēn)适合做数据存储，还可(kě)进行不同语言之间相互通信的数据交换格式，學(xué)习大数据，需掌握其具體(tǐ)用(yòng)法。

　　6.ZooKeeper

　　ZooKeeper是Hadoop和Hbase的重要组件，是一个為(wèi)分(fēn)布式应用(yòng)提供一致性服務(wù)的软件，提供的功能(néng)包括：配置维护、域名服務(wù)、分(fēn)布式同步、组件服務(wù)等，在大数据开发中要掌握ZooKeeper的常用(yòng)命令及功能(néng)的实现方法。

　　7. HBase

　　HBase是一个分(fēn)布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可(kě)靠性、高性能(néng)、面向列、可(kě)伸缩的分(fēn)布式存储系统，大数据开发需掌握HBase基础知识、应用(yòng)、架构以及高级用(yòng)法等。

　　8.phoenix

　　phoenix是用(yòng)Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有(yǒu)动态列、散列加载、查询服務(wù)器、追踪、事務(wù)、用(yòng)户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分(fēn)页查询、跳跃查询、视图以及多(duō)租户的特性，大数据开发需掌握其原理(lǐ)和使用(yòng)方法。

　　9. Redis

　　Redis是一个key-value存储系统，其出现很(hěn)大程度补偿了memcached这类key/value存储的不足，在部分(fēn)场合可(kě)以对关系数据库起到很(hěn)好的补充作用(yòng)，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用(yòng)很(hěn)方便，大数据开发需掌握Redis的安装、配置及相关使用(yòng)方法。

　　10. Flume

　　Flume是一款高可(kě)用(yòng)、高可(kě)靠、分(fēn)布式的海量日志(zhì)采集、聚合和传输的系统，Flume支持在日志(zhì)系统中定制各类数据发送方，用(yòng)于收集数据;同时，Flume提供对数据进行简单处理(lǐ)，并写到各种数据接受方(可(kě)定制)的能(néng)力。大数据开发需掌握其安装、配置以及相关使用(yòng)方法。

　　11. SSM

　　SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作為(wèi)数据源较简单的web项目的框架。大数据开发需分(fēn)别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用(yòng)SSM进行整合操作。

　　12.Kafka

　　Kafka是一种高吞吐量的分(fēn)布式发布订阅消息系统，其在大数据开发应用(yòng)上的目的是通过Hadoop的并行加载机制来统一線(xiàn)上和离線(xiàn)的消息处理(lǐ)，也是為(wèi)了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理(lǐ)及各组件的作用(yòng)和使用(yòng)方法及相关功能(néng)的实现!