BD211:企业级大数据技术与应用

开班计划时间:18 小时
上课地点 上课方式 预计上课时间
广州 线下面授
2020/2/10、11、12
预约试听 马上咨询
课程介绍
适用对象:对大数据、分布式存储分析等感兴趣的朋友;云计算、大数据从业者; 熟悉Hadoop生态体系,想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友; 系统架构师、系统分析师、高级程序员、资深开发人员; 牵涉到大数据处理的数据中心运行、规划、设计负责人; 政府机关,金融保险、移动互联网等大数据单位的负责人。
学习收获:1. 了解大数据业内最新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统 2. 深入学习yarn 框架下的MapReduce,掌握MapReduce研发 3. 掌握HDFS 开发 4. 了解Hadoop集群规划,应用案例解析 5. 列式数据库HBase的基本原理,应用场景,掌握基本的编程技巧 6. 学习掌握 Hive工具 , 分布式协调系统Zookeeper的基本原理,应用场景,掌握基本的编程技巧 7. 掌握Spark技术 8. 掌握Impala 9. 掌握相关的大数据核心组件
详细大纲
1 大数据概念及行业应用
1.1 大数据基本概念
1.1.1 什么是大数据
1.1.2 为什么需要大数据
1.1.3 如何理解大数据架构
1.1.4 大数据关键技术介绍
1.1.5 大数据库关注的四项技术
1.1.6 大数据时代数据库技术的发展
1.1.7 大数据关键技术的应用场景
1.1.8 典型的大数据平台架构实现
1.2 电信运营商大数据
1.2.1 运营商面对的大数据
1.2.2 运营商大数据在哪里
1.2.3 运营商面临的大数据挑战
1.2.4 运营商大数据建设理念
1.3 商业大数据的行业应用
1.3.1 大数据在互联网的应用
1.3.2 大数据运营商的应用
1.3.3 大数据在金融行业中的应用案例
1.4 业界常用大数据平台介绍
1.4.1 Apache Hadoop
1.4.2 Cloudera
1.4.3 Hortonworks
1.4.4 Oracle Exdata
1.4.5 IBM Biginsight
1.4.6 华为 FusionInsight
2 HDFS分布式文件系统与MapReduce技术原理与应用
2.1 HDFS技术原理和功能架构
2.1.1 HDFS概述及行业应用
2.1.2 HDFS在Hadoop中的位置
2.1.3 HDFS的系统架构
2.1.4 HDFS的设计目标
2.1.5 HDFS的高可用机制
2.1.6 HDFS的副本机制
2.1.7 HDFS的元数据持久化机制
2.1.8 HDFS的数据输入输出方式
2.1.9 HDFS的数据存储机制
2.1.10 HDFS支持的接口
2.2 HDFS的安装和部署
2.2.1 HDFS的部署规划
2.2.2 HDFS的组网方法与原则
2.2.3 HDFS的部署原则及约束
2.2.4 HDFS的多种部署方式
2.2.5 HDFS常用参数及配置建议
2.3 HDFS运维管理
2.3.1 HDFS的目录结构
2.3.2 HDFS的服务检查
2.3.3 HDFS日志结构与作用
2.3.4 HDFS常用维护命令
2.3.5 HDFS健康检查关键指标
2.3.6 HDFS常见问题及定位方法
2.4 MapReduce & Yarn 计算框架
2.4.1 MapReduce和Yarn技术原理
2.4.2 MapReduce的功能与定义
2.4.3 MapReduce的应用场景
2.4.4 Yarn的定义及产生背景
2.4.5 Yarn在计算框架中的定位
2.4.6 MapReduce的计算过程
2.4.7 Yarn的框架与通信
2.4.8 使用Yan进行资源管理和任务调度
2.4.9 MapReduce & Yarn常用参数配置
2.4.10 运行一个MapReduce程序
2.4.11 MapReduce&Yarn的目录结构
2.4.12 MapReduce&Yarn的服务检查
2.4.13 MapReduce&Yarn常用维护命令
2.4.14 MapReduce&Yarn健康检查关键指标
3 HBase分布式数据库及Zookeeper集群分布式协调服务技术应用
3.1 HBase技术原理
3.1.1 HBase的功能与架构
3.1.2 HBase的技术原理
3.1.3 HBase与关系数据库的比较
3.1.4 HBase的应用场景
3.1.5 HBase在产品中的定位
3.1.6 HBase的应用场景
3.1.7 HBase的数据存储
3.1.8 HBase的输入输出流程
3.2 HBase的安装与配置
3.2.1 HBase的部署规划
3.2.2 HBase的部署方法
3.2.3 HBase的监控方法
3.2.4 HBase的灾备配置
3.3 HBase的运维管理
3.3.1 HBase的目录结构
3.3.2 HBase的日志与作用
3.3.3 HBase的常用维护命令
3.3.4 HBase的参数配置
3.3.5 HBase的性能优化
3.3.6 HBase的备份与恢复
3.3.7 HBase的健康检查
3.3.8 HBase常见问题及定位方法
3.4 Zookeeper技术架构
3.4.1 Zookeeper的功能与架构
3.4.2 Zookeeper的技术原理
3.4.3 Zookeeper的关键特性
3.4.4 Zookeeper与组件之间的关系
3.5 Zookeeper的安装与配置
3.5.1 Zookeeper的部署规划
3.5.2 Zookeeper的部署方法
4 Hive数据仓库工具与实时查询Impala的技术与应用
4.1 Hive技术架构
4.1.1 Hive的功能与架构
4.1.2 Hive在大数据平台产品中的位置
4.1.3 Hive的优缺点
4.1.4 Hive的应用场景
4.1.5 Hive与传统数据仓库的比较
4.1.6 Hive的数据存储结构
4.1.7 Hive的权限管理
4.2 Hive的安装与配置
4.2.1 Hive的部署规划
4.2.2 Hive的部署的关键参数配置
4.2.3 Hive的备份与恢复操作
4.2.4 Hive的监控配置
4.3 Hive的运维管理
4.3.1 Hive的目录结构介绍
4.3.2 Hive的常用维护命令
4.3.3 Hive的参数含义与配置
4.3.4 Hive的性能优化
4.3.5 Hive常见问题及定位方法
4.4 Spark技术架构
4.4.1 Spark的功能与架构
4.4.2 Spark的技术原理
4.4.3 Spark与Hadoop的异同点
4.4.4 Spark的应用场景
4.5 Spark安装配置
4.5.1 Spark的部署规划
4.5.2 Spark的部署原则与约束
4.5.3 Spark的关键参数与配置
4.5.4 Spark客户端工具的使用
4.5.5 在Spark上运行Scala程序
4.6 Spark运维管理
4.6.1 Spark的目录结构
4.6.2 Spark的相关进程
4.6.3 Spark日志目录结构
4.6.4 使用开发工具测试Spark
4.6.5 Spark常见问题及定位方法
5 大数据其他相关技术
5.1 Sqoop数据转换技术架构
5.1.1 Sqoop的功能与架构
5.1.2 Sqoop的技术原理
5.1.3 Sqoop的应用场景
5.2 Solr数据搜索技术架构
5.2.1 Solr的功能与架构
5.2.2 Solr的技术原理
5.2.3 Solr的关键特性
5.2.4 Solr的应用场景
5.3 Storm流式计算技术架构
5.3.1 Storm的功能与架构
5.3.2 Storm的技术原理
5.3.3 Storm的关键特性
5.3.4 Storm的应用场景
5.4 Storm的安装与配置
5.4.1 Storm的部署规划
5.4.2 Storm的安装部署
5.5 Storm的运维管理
5.5.1 Storm的常用维护命令
5.5.2 Storm的参数配置
5.5.3 Storm的性能优化
5.5.4 Storm常见问题及定位方法
5.6 Oozie工作流引擎技术架构
5.6.1 Oozie的功能与架构
5.6.2 Oozie的技术原理
5.6.3 Oozie的关键特性
5.6.4 Oozie的应用场景
课程评价

课程评价({{EvaluationTotal}})

课程满意度

评价

您还没有给课程评分哦

满意度

    追加评价:

课程咨询
内容:

您还没有填写内容!

暂无问答,赶紧去提问吧
{{item.AnswerState==1?"已解决":"未解决"}}
{{item.Content}}
{{item.StudentAskTime}}
{{itemanswer.UserName}}
{{itemanswer.Content}}
{{itemanswer.StudentAskTime}}
同类课程推荐 more
嘉为大讲堂 more
原创文章 more

您好! 欢迎来到学领未来 !

学领未来提供线上及线下的学习服务,根据您的位置,为您推荐最近的线下培训地点 分站,你选择:

最新香港九龙玄机123期 区。| 介休市| 大庆市| 内黄县| 汉源县| 新化县| 东乌珠穆沁旗| 烟台市| 修武县| 湖南省| 龙州县| 恩施市| 克东县| 佛坪县| 广南县| 乾安县| 邵阳市| 两当县| 安新县| 南宫市| 察雅县| 防城港市| 和林格尔县| 新沂市| 武冈市| 含山县| 改则县| 长子县| 宜丰县| 色达县| 岑巩县| 岑溪市| 大英县| 老河口市| 额济纳旗| 莱阳市| 北流市| 岫岩| 砚山县| 洪洞县| 肇源县| 高密市| 龙门县| 峡江县| 深泽县| 龙川县| 东乌珠穆沁旗| 隆尧县| 铁岭县| 上犹县| 新乡县| 宁德市| 长子县| 萨迦县| 福建省| 隆尧县| 绥宁县| 西乡县| 柳林县| 探索| 太和县| 左权县| 平山县| 志丹县| 东阿县| 合阳县| 太仆寺旗| 霍邱县| 平果县| 百色市| 个旧市| 平南县| 宜春市| 宜兴市| 礼泉县| 休宁县| 隆安县| 哈密市| 灵武市| 刚察县| 德昌县| 濮阳县| 山西省| 九龙坡区| 邯郸市| 遂川县| 茶陵县| 博客| 万载县| 盐城市| 灌云县| 偏关县| 龙里县| 乳山市| 紫阳县| 泰兴市| 广宁县| 泌阳县| 延津县| 遂川县| 睢宁县| 辉南县| 城固县| 祁门县| 道孚县| 和田市| 双江| 商洛市| 娱乐| 平昌县| 宜黄县| 辽阳市| 日喀则市| 金湖县| 巴中市| 泰来县| 城口县| 青川县| 正安县| 茂名市| 乾安县| 金阳县| 康保县| 菏泽市| 南投县| 巴林右旗| 五大连池市| 邵阳市| 四子王旗| 武功县| 东海县| 北川| 五寨县| 卫辉市| 鄱阳县| 阳江市| 监利县| 金川县| 竹溪县| 淮安市| 泸水县| 仙游县| 西昌市| 清水河县| 温州市| 新乡市| 黑龙江省| 明溪县| 东丽区| 留坝县| 宁都县| 墨玉县| 安远县| 麟游县| 东乡| 尼勒克县| 互助| 尉氏县| 瑞金市| 怀安县| 麟游县| 木兰县| 江孜县| 嘉善县| 龙游县| 焦作市| 六安市| 浠水县| 辉县市| 普陀区| 奎屯市| 东安县| 敖汉旗| 即墨市| 沅陵县| 合川市| 康定县| 上蔡县| 昆山市| 白水县| 韶山市| 平和县| 乐业县| 曲水县| 海门市| 松溪县| 平泉县| 邵阳县|