小象Hadoop进阶教程第一期（价值699元）

admin · 发表于 2020-6-3 14:22:19

小象Hadoop进阶教程第一期（价值699元）
VIP会员免币下载，非VIP会员用论坛币下载

课程大纲：

授课对象：Hadoop高级、具有一定Hadoop系统使用经验

适用Hadoop版本：兼顾所有Hadoop版本，包括Apache、Hortonworks和CDH发行版

第一部分. MapReduce

Mapreduce工作流程及基本架构回顾

运维相关

参数调优
benchmark
reuse jvm
错误感知及speculative执行
task日志分析
可容忍错误百分比设置及跳过坏记录
选择fairescheduler等其他调度器优化性能

开发相关

数据类型选择
实现自定义writable数据类型、自定义key
一个mapper中输出不同类型value
InputFormat/OutputFormat，原理及定制
Mapper/Reducer/Combiner，Combiner的使用及其对mapreduce框架优化的作用
Partitioner定制
排序策略GroupingComparator/SortComparator
任务调度原理及修改方法（案例，map/reduce共享slot，按标识精准map/reduce调度）
Streaming
DistributedCache
mapreduce任务间依赖
counter
JobChild参数设置
性能优化

第二部分. hdfs

HDFS API

fuse（C API）

压缩

HDFS benchmark

Datanode添加及删除

多盘支持，磁盘错误感知

hdfs raid

HDFS block size设置相关问题

文件备份数设置

HDFS中合并文件

第三部分. Hadoop工具

dfsadmin/mradmin/balancer/distcp/fsck/fs/job

监控及报警

hadoop配置管理

第四部分. Hadoop调试

Log

本地模式调试map/reduce任务

远程调试

第五部分. 问题分析

Java GC介绍及java进程常用的分析工具jstat、jhat、jmap

top/iostat/netstat/lsof等

Jstack/kill -3

Strace

nload/tcpdump

第六部分.分析示例

MapReduce简单分析

用MapReduce实现Group-by

用MapReduce实现倒排索引

MapReduce实现直方图

MapReduce实现Join

下载地址：

购买主题本主题需向作者支付 666 资源币 才能浏览

toum120 · 发表于 2020-6-3 16:24:36

感谢分享

qwertyuiop1822 · 发表于 2020-8-14 05:47:27

祝资源共享吧越来越火！

BOSS · 发表于 2021-5-2 18:35:31

66666666666666666666

eagle083 · 发表于 2021-7-30 17:00:08

等等等等等等等等等等等等

a8152070 · 发表于 2022-3-6 16:16:04

第一期（价值699元） [修改]

1215276862 · 发表于 2024-4-7 10:36:01

自动回复脚本

		自动登录	找回密码
密码			注册成为正式会员

小象Hadoop进阶教程第一期（价值699元）

论坛管理员

超级版主

终身VIP会员

资源共享吧男神

终身成就