作者存档: LoserZhao - 第4页

Maven私服Nexus搭建

作者: LoserZhao 日期: 2021年5月28日没有评论 | 249 views

1. 环境及要求

unix系统
当前 CentOS6.5 64bit

JDK1.8
当前 1.8.0_25

2. 安装方式

2.1. 下载安装包

下载地址:https://www.sonatype.com/download-nexus-repo-oss?submissionG[……]

安装Nginx并配置TomcatHA

作者: LoserZhao 日期: 2021年5月28日没有评论 | 571 views

1. 环境

IP
系统版本
部署服务
端口

192.168.0.40
CentOS6.5_64
Nginx1.12.0
8088

192.168.0.41
CentOS6.5_64
apache-tomcat-7.0.64
18[……]

安装KeepAlived并配置NginxHA

作者: LoserZhao 日期: 2021年5月28日没有评论 | 668 views

1. 环境

IP
系统版本
部署服务
端口

192.168.0.40
CentOS6.5_64
Nginx1.12.0
18089

192.168.0.41
CentOS6.5_64
Nginx1.12.0
18089[……]

CentOS 7.2 静默安装Oracle 11gR2

作者: LoserZhao 日期: 2021年5月28日没有评论 | 478 views

1. 搭建本地源：

1.1. 加载 CentOS的ISO镜像并挂载：

[root@localhost files]# mount CentOS-7-x86_64-DVD-1511.iso   /mnt/cdrom/

1 2	[root@localhost files]# mount CentOS-7-x86_64-DVD-1511.iso /mnt/cdrom/

1.2. 新建CentOS目录并把ISO上的文件复制到该目录下：

[root@localhost files]# mkdir /media/CentOS/
[root@localhost files]# cp -fr /mnt/cdrom/*  /media/CentOS/

[root@localhost files]# mkdir /media/CentOS/

[root@localhost files]# cp -fr /mnt/cdrom/* /media/CentOS/

1.3. 修改y[……]

Read more

Spark Task的调度——源码分析

作者: LoserZhao 日期: 2021年5月28日没有评论 | 393 views

参考Blog

Spark源码分析——Task的调度

DAGScheduler.submitMissingTasks(stage: Stage, jobId: Int)
方法中的最后几行，有一个
taskScheduler.submitTasks(new TaskSet( tas[......]


Read more

Spark资源调度算法——源码分析

作者: LoserZhao 日期: 2021年5月28日没有评论 | 419 views

描述

为了运行一个应用程序，Spark首先根据应用程序资源需求构建一个运行时环境，这是通过与资源管理器交互来完成的。通常而言，存在两种运行时环境构建方式：粗粒度和细粒度。

粗粒度

应用程序被提交到集群之后，它在正式运行任务之前，将根据应用程序资源需求一次性将这些资源凑齐，之后使用这些资源运行任[……]

SparkContext——TaskScheduler源码分析

作者: LoserZhao 日期: 2021年5月28日没有评论 | 166 views

环境

Spark 1.6.3

SparkContext的初始化变量

从SparkContext从上一直阅读初始化成员变量，发现在这一段，开始给 SchedulerBackend、TaskScheduler、 DAGScheduler进行初始化。
而初始化方式是

[crayon-6810f3c[……]

ElasticSearch 6.8.3 for CentOS6.5 安装

作者: LoserZhao 日期: 2021年5月28日没有评论 | 118 views

1. 集群环境及安装包

1.1. 集群环境

主机名
IP
系统版本
部署服务

hadoop32
192.168.0.32
CentOS6.5_64
ES Node

hadoop33
192.168.0.33
CentOS6.5_6[……]

Yarn的内存超出指定的 yarn.nodemanager.resource.memory-mb 的解决过程

作者: LoserZhao 日期: 2021年5月28日 1 条评论 | 1,842 views

背景

集群背景：48Core，256GMem，24台节点的集群。每台节点给Nodemanager分配了128G。

问题

结果一次大型任务运行时，150亿的表和400亿的表做join时，每台节点的内存居然100%打满了。我这里的100%是整个节点的100%，而我们给所有大数据的组件内存才不到20[……]

Hive UDF、UDAF、UDTF使用

作者: LoserZhao 日期: 2021年5月28日没有评论 | 504 views

1. 目录

[TOC]

2. UDF

注：UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF

package cn.com.edata.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @author zhaominmail@vip.qq.com
 * @Date 2016年5月9日 下午2:28:36
 * @Describe
 */
public class HelloUDF extends UDF {

    public String evaluate(String str) {
        try {
            return "HelloWorld " + str;
        } catch (Exception e) {
            return null;
        }
    }
}

package cn.com.edata.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

/**

* @author zhaominmail@vip.qq.com

* @Date 2016年5月9日下午2:28:36

* @Describe

public class HelloUDF extends UDF {

public String evaluate(String str) {

try {

return "HelloWorld " + str;

} catch (Exception e) {

return null;

}

3. UDAF

package cn.com.edata.udf;

import org.apache.hadoop.hive.ql.exec.NumericUDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;

/**
 * @author zhaominmail@vip.qq.com
 * @Date 2016年5月10日 下午6:26:15
 * @Describe 自定义HiveUDAF
 * 1.需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的
 * 2.函数类需要继承UDAF类，内部类Evaluator实现UDAFEvaluator接口
 * 3.Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数
 */
public class SumUDAF extends NumericUDAF {
    public static class Evaluator implements UDAFEvaluator {
        private boolean mEmpty;
        private double mSum;

        public Evaluator() {
            super();
            init();
        }

        // 1）init函数类似于构造函数，用于UDAF的初始化
        public void init() {
            mSum = 0;
            mEmpty = true;
        }

        // 2）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean
        public boolean iterate(DoubleWritable o) {
            if (o != null) {
                mSum += o.get();
                mEmpty = false;
            }
            return true;
        }

        // 3）terminatePartial无参数，其为iterate函数轮转结束后，返回乱转数据，iterate和terminatePartial类似于hadoop的Combiner
        public DoubleWritable terminatePartial() {
            return mEmpty ? null : new DoubleWritable(mSum);
        }

        // 4）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean
        public boolean merge(DoubleWritable o) {
            if (o != null) {
                mSum += o.get();
                mEmpty = false;
            }
            return true;
        }

        // 5）terminate返回最终的聚集函数结果
        public DoubleWritable terminate() {
            return mEmpty ? null : new DoubleWritable(mSum);
        }

    }

}

package cn.com.edata.udf;

import org.apache.hadoop.hive.ql.exec.NumericUDAF;

import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

import org.apache.hadoop.hive.serde2.io.DoubleWritable;

/**

* @author zhaominmail@vip.qq.com

* @Date 2016年5月10日下午6:26:15

* @Describe 自定义HiveUDAF

* 1.需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的

* 2.函数类需要继承UDAF类，内部类Evaluator实现UDAFEvaluator接口

* 3.Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数

public class SumUDAF extends NumericUDAF {

public static class Evaluator implements UDAFEvaluator {

private boolean mEmpty;

private double mSum;

public Evaluator() {

super();

init();

}

// 1）init函数类似于构造函数，用于UDAF的初始化

public void init() {

mSum = 0;

mEmpty = true;

}

// 2）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean

public boolean iterate(DoubleWritable o) {

if (o != null) {

mSum += o.get();

mEmpty = false;

}

return true;

}

// 3）terminatePartial无参数，其为iterate函数轮转结束后，返回乱转数据，iterate和terminatePartial类似于hadoop的Combiner

public DoubleWritable terminatePartial() {

return mEmpty ? null : new DoubleWritable(mSum);

}

// 4）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean

public boolean merge(DoubleWritable o) {

if (o != null) {

mSum += o.get();

mEmpty = false;

}

return true;

}

// 5）terminate返回最终的聚集函数结果

public DoubleWritable terminate() {

return mEmpty ? null : new DoubleWritable(mSum);

}

作者存档: LoserZhao - 第4页

1. 环境及要求

2. 安装方式

2.1. 下载安装包

1. 环境

1. 环境

1. 搭建本地源：

1.1. 加载 CentOS的ISO镜像并挂载：

1.2. 新建CentOS目录并把ISO上的文件复制到该目录下：

1.3. 修改y[……] Read more

参考Blog

描述

粗粒度

环境

SparkContext的初始化变量

1. 集群环境及安装包

1.1. 集群环境

背景

问题

1. 目录

2. UDF

3. UDAF

4. U[……] Read more

近期文章

分类目录

文章归档

标签云

技术链接

访问排名

近期评论

功能

1.3. 修改y[……]

Read more

4. U[……]

Read more