概述
在项目开发时，会有各种开发环境，mac、linux、windows，然后开发环境、测试环境、预发布环境、生产环境，各个数据库等都不一样。
那么不可能每次发布时都要去修改对应的数据库配置，等其他相关配置。
可以用 maven 的 profiles 来实现不同环境的相关配置。
使用
1、在项[……]
分类存档: 大数据
Maven profiles + 资源过滤，多环境自动适配
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 186 views
Maven 插件说明
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 160 views
Surefire 自动化运行单元测试
功能
1、能够指定通配符过滤需要测试的类和排除的类，非常友好的结合Junit；
2、能够生成测试报告，包含测试覆盖率、分支覆盖率(if else)
单元测试覆盖率是什么意思？
比如说，你总共写了100行代码，然后你写了3个单元测试方法，结果这3个单元测试的方[……]
Maven 多模块工程开发配置
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 163 views
1. 多模块工程搭建步骤
1、创建一个 maven-web-parent 父工程，在其 pom.xml 中修改以下内容：
|
1 2 3 4 5 6 7 8 9 10 11 12 |
<groupId>cn.com.jomin</groupId> <artifactId>maven-web-parent</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>pom</packaging> <name>${project.artifactId}</name> <modules> <module>maven-web-commen</module> <module>maven-web-admin</module> <module>maven-web-service</module> </modules> |
2、创建一个 maven-web-admin 子工程，在其 pom.xml 中修改以下内容：
[cr[……]
Maven 配置私服仓库或者私服镜像
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 624 views
1. 概述
在默认的情况下，maven 下载任何jar包默认都是走国外的的中央仓库地址 https://mvnrepository.com，那么限于网速非常慢，需要配置中央仓库或者私服地址。
2. 私服仓库配置
如果自己搭建了Nexus私服，那么可以在 $M2_HOME/conf/se[......]
Maven发布项目打包至私服
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 278 views
概述
在多模块开发中，如果使用的IDE是Eclipse，并且模块中需要相互依赖，那么就需要借助私服来打包发布。
1、 发布仓库配置
修改pom.xml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
<distributionManagement> <repository> <id>nexus-releases</id> <name>Nexus Release Repository</name> <url>http://192.168.0.140:8081/repository/maven-releases/</url> </repository> <snapshotRepository> <id>nexus-snapshots</id> <name>Nexus Snapshot Repository</name> <url>http://192.168.0.140:8081/repository/maven-snapshots/</url> </snapshotRepository> </distributionManagement> |
2、 部署专用账号的配置
但是nexus仓库对于普通的匿名用户[……]
Nexus 私服仓库
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 172 views
说明
Nexus 安装完成之后自带4个Maven仓库
maven-central
maven-central：这是maven中央仓库的代理仓库
maven-releases
maven-releases：该仓库是个宿主仓库，用于部署公司内部的release版本的发布包（类似于1.0.0,[……]
Maven私服Nexus搭建
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 147 views
1. 环境及要求
unix系统
当前 CentOS6.5 64bit
JDK1.8
当前 1.8.0_25
2. 安装方式
2.1. 下载安装包
下载地址:https://www.sonatype.com/download-nexus-repo-oss?submissionG[……]
Spark Task的调度——源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 283 views
参考Blog
DAGScheduler.submitMissingTasks(stage: Stage, jobId: Int)
方法中的最后几行，有一个
taskScheduler.submitTasks(new TaskSet(
tas[......]
Spark资源调度算法——源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 186 views
描述
为了运行一个应用程序，Spark首先根据应用程序资源需求构建一个运行时环境，这是通过与资源管理器交互来完成的。通常而言，存在两种运行时环境构建方式：粗粒度和细粒度。
粗粒度
应用程序被提交到集群之后，它在正式运行任务之前，将根据应用程序资源需求一次性将这些资源凑齐，之后使用这些资源运行任[……]
SparkContext——TaskScheduler源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 86 views
环境
Spark 1.6.3
SparkContext的初始化变量
从SparkContext从上一直阅读初始化成员变量，发现在这一段，开始给 SchedulerBackend、TaskScheduler、 DAGScheduler进行初始化。
而初始化方式是
[crayon-66e9305[……]
近期评论