qingwei201314
qingwei201314 · 共 159 篇文章
Kafka zookeeper 集群
一、部署zookeeper集群 1. 准备三台服务器,IP分别为: 192.168.86.130,192.168.86.131,192.168.86.132. 2.下载zookeeper压缩包,解压,在conf目录下增加zoo.cfg文件,文件内容可参考zoo_sample.cfg. 具体内容如下: tickTime=2000 dataDir=/usr/local/zookeeper-3.6.2/data clientPort=2181 initLimit=5 syncLimit=2 server.1=192.168.86.130:2888:3888 server.2=192.168.86.…
2020-11-02 20:15 · 评论(0)
Kettle 增量导数据
一、新建转换。 “源表”中的数据导入“目标表”。 源表 -> 目标表 1.下载kettle安装包,启动kettle. 2.新建转换“表输入”,设置数据库链接,查出目标表的最近修改时间: select if(ISNULL(max(ORDERDATE)), '1900-01-01 00:00:00', max(ORDERDATE)) from kevin_t1 3.新建 “表输入", 设置数据库链接,“从步骤插入数据”选择上一步的结果,查出源表中未修改的记录,SQL如下: select * from kevin_t1 where ORDERDATE > ? 4.新建”插入/更新", 选择目标表,…
2020-08-03 19:41 · 评论(0)
Hadoop cluster HA 客户端操作 Yarn高可用
一、通过QJM模式部署Hadoop HA 三台机器:192.168.86.130、192.168.86.131、192.168.86.132 1.部署zookeeper,分别在三台机器上部署zookeeper, 配置文件zoo.cfg内容如下: tickTime=2000 dataDir=/usr/local/zookeeper-3.6.1/data clientPort=2181 initLimit=5 syncLimit=2 server.130=192.168.86.130:2888:3888 server.131=192.168.86.131:2888:3888 server.132…
2020-07-21 12:35 · 评论(0)
Hive 通过JDBC操作Hive
package com.kevin.job; import org.springframework.stereotype.Service; import org.springframework.scheduling.annotation.Scheduled; import java.sql.*; @Service public class HiveJob { private static int i = 1; @Scheduled(fixedDelay = 1000) public void partition() throws ClassNotFoundException, SQLExce…
2020-05-20 14:47 · 评论(0)
Java操作HDFS
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import java.io.IOException; import java.net.URI; impor…
2020-02-28 11:40 · Hadoop · 评论(0)
spring boot spring cloud 打包 打jar包 pom.xml文件
在pom.xml文件中增加以下内容,将工程打成jar包,执行jar包命令: java -jar xxx.jar <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">…
2019-12-10 08:26 · 评论(0)
Sqoop 导数据到HDFS, 用Spark SQL进行查询
1. 启动HDFS: cd /usr/local/hadoop-2.7.7/sbin ./start-dfs.sh 2.启动Yarn: cd cd /usr/local/hadoop-2.7.7/sbin ./start-yarn.sh 3.启动Spark: /usr/local/spark-2.3.3-bin-hadoop2.7/sbin ./start-master.sh -h 192.168.96.12 ./start-slave.sh spark://192.168.96.128:7077 4.创建Sqoop导入任务: ./sqoop-job \ --meta-connect jdb…
2019-09-02 09:22 · 评论(0)
部署sharding-proxy
sharding-proxy 在windows的部署过程: 1. 下载zookeeper-3.4.6,配置conf/zoo.cfg文件,主要修改数据存储路径: tickTime=2000 initLimit=10 syncLimit=5 dataDir=D:\zookeeper-3.4.6\data clientPort=2181 2. 启动zookeeper. 直接点击bin/zkServer.cmd 文件。 3. 解压sharding-proxy-3.0.0.tar.gz文件,配置conf/server.yaml: orchestration: name: orchestration_d…
2019-03-08 17:11 · 分库分表 · 评论(0)
keepalived用的http_get
部署两台keepalived, master和backup, 两台realserver, 一台sorry_server. 操作系统为centos6.8 ip: master: 192.168.254.129 back: 192.168.254.131 real_server: 192.168.254.128 real_server: 192.168.254.130 sorry_server: 192.168.254.132 1.安装master的keepalived 1.1.下载keepalived安装包keepalived-1.2.15.tar.gz, 下载地址: http://www.k…
2018-05-30 14:29 · 评论(0)
mybatis 公用CRUD 增删改查
mybatis公用增删改查CRUD 1.具体mapper package com.kevin.mapper; import org.apache.ibatis.annotations.Mapper; import com.kevin.dto.AllType; import com.kevin.mapper.common.CommonMapper; @Mapper public interface AllTypeMapper extends CommonMapper<AllType> { } 2.公用mapper: package com.kevin.mapper.common; import…
2018-03-23 11:04 · 评论(0)
八皇后问题
大学没用心读书,八皇后问题令我望而生畏,这几天零零散散将其写完,并调试完成,感觉不难。当补交大学时的作业。总共92个解,12个解是独立的。 package com.kevin.queen; public class EightQueen { static int[][] queens = new int[8][8]; // 最近一子位置 static int curI = -1; static int curJ = -1; // 第1子位置 static int oneI = -1; static int oneJ = -1; static int times = 0; // 总答案集合 s…
2018-03-13 19:26 · 评论(0)
jpa取不到最新值
用jpa操作数据库,有时由于并发及一级缓存的问题,导致取到的对象不是最新的,解决办法如下: 1.在service中注入这个对象: @Autowired private EntityManager entityManager; 2.将取到的对象,执行以下操作,对象名为:detail entityManager.refresh(detail);
2018-02-07 15:11 · 评论(0)
加解密 验签
两个系统间如果存在互相调用, 便存在报文传输,通常情况下,需要对报文进行签名,加密,再进行传输,才能保证传输信息不显示明文, 保证信息不被篡改。一般使用以下步骤: 1.将要传送的报文进行签名,把签名内容放在报文的某一个字段中; 2.将1中的内容进行对称加密,密钥需两个系统共同商定; 3.将2中的内容进行传输。 对方系统收到报文后,执行以下步骤: 1.将报文用协商好的密钥进行解密; 2.将解密后的内容进行验签; 3.如果签名通过,处理业务逻辑。
2018-01-16 19:52 · 评论(0)
js 判断某字段是否为空
repayOrderNo != null && repayOrderNo !='' && repayOrderNo != undefined
2016-09-25 11:06 · 评论(0)