打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Hadoop_初级笔记

第一节
主要内容:1.大数据技术的相关概念;2.Hadoop的架构和运行机制;3.实战Hadoop的安装和配置;4.hadoop的开发

学习目标:一、掌握大数据存储与处理技术的原理(理论知识);二、掌握Hadoop的是使用和开发能力(实践能力)

学习建议:(1)结合书本,知识点更加系统全面{《Hadoop技术详解》、《Hadoop权威指南》};(2)实践经验很重要,边听课边实践;(3)坚持。

预备知识:(1)linux常用命令(不用非常精通,常用命令会就好,因为Hadoop运行环境是linux);(2)Java编程基础(后期开发)

第二节
Hadoop历史:(自己了解下)互联网发展、创造数据的速度不断加快,数据增长速度增开,类型增多,数据规模的不断增加等
21世纪核心的竞争是数据的竞争,谁拥有更多的数据,谁就拥有未来;--马云

系统瓶颈:存储容量、读写速率、计算效率...

第三节
Hadoop功能与优势
Hadoop是什么:Hadoop是开源的 分布式 存储 分布式计算平台Apache(http://Hadoop.apache.org):分布式存储和分布式计算
之所以有这两个是因为hadoop的两个核心组成部分
Hadoop的组成:
HDFS:分布式文件系统,存储海量的数据
MapReduce:并行处理框架,实现任务分解和调度

Hadoop可以用来做什么:
搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务
比如:搜索引擎,商业智能,日志分析,数据挖掘等任务

Hadoop优势
1.高扩展,2.低成本,3.Hadoop有成熟的生态圈(Hadoop小工具比较多)

Hadoop的应用情况:广泛

Hadoop人才需求越来越大:开发、运维;

第四节
生态系统和版本:HIVE,HBASE(存储结构化数据的分布式数据库,放弃事务特性,追求更高的拓展),zookeeper
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
AI研习丨CAAI副秘书长何清研究员:大数据挖掘与知识发现
图像大数据分析
Hadoop生态圈
HBase
基于云计算的数据挖掘平台架构及其关键技术研究[图]
基于云计算的大数据技术研究
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服