scala实现jetty启动webservice调用restapi的简单框架

2019-09-07

# 代码结构
-ui
	-restapi
		-GatewayRestful.scala
		-GatewayRestfulApi.scala
		-RestfulActiveServers.scala
		-RestfulJobToServer.scala
	-server
		-InitServer.scala

GatewayRestfulApi 继承了 HttpServlet类

RestfulActiveServers、RestfulJobToServer继承了GatewayRestfulApi

GatewayRestful收集所有定义好的HttpServlet

InitServer在启动server的时候直接从GatewayRestful中获取到所有定义的HttpServlet。
more >>

展开全文 >>

网易D题java找最大十字

2019-09-07

import java.util.Scanner;
import java.util.*;
public class Main {
    final int N = 2010;
    public int preSum[][] = new int[N][N];
    public int w[][] = new int[N][N];
    public int nextOne[][] = new int[N][N];
    public int n, m;
    int dir1[][] = {{1,0}, {0,1} , {1,1}, {1,2}, {2,1}};
    int dir0[][] = {{0,0}, {0,2}, {2,0}, {2,2}};
    public void init(){
        for(int i=0 ; i<N ; i++)
            for(int j=0 ; j<N ; j++){
                preSum[i][j] = 0;
                nextOne[i][j] = 0;
            }
    }
    public Main(){
        init();
    }
    public void getPreSum(){
        for(int i=0 ; i<= m ; i++) preSum[0][i] = 0;
        for(int i=0 ; i<=n ; i++) preSum[i][0] = 0;
        for(int i=1 ; i<=n ; i++)
            for(int j=1 ; j<=m ; j++)
                preSum[i][j] = preSum[i-1][j] + preSum[i][j-1] - preSum[i-1][j-1] + w[i][j];
        for(int i=1 ; i<=n ; i++){
            nextOne[i][m+1] = m+1;
            for(int j=m ; j>=1 ; j--){
                if(w[i][j] == 1) nextOne[i][j] = j;
                else nextOne[i][j] = nextOne[i][j+1];
            }
        }
    }
    public int subMatrixSum(int a, int b, int k){ // 起点a,b , 长度为k的正方形
        return preSum[a+k-1][b+k-1] - preSum[a-1][b+k-1] - preSum[a+k-1][b-1] + preSum[a-1][b-1];
    }
    public void findOptimizeMatrix(){
//        init();
        getPreSum();
        int a=-1, b=-1, c=-1, d=-1, maxK = 0;
        for(int i=1 ; i<=n ; i++){
            for(int j=1 ; j<=m ; j++){
                if(w[i][j] == 0){
                    int k = nextOne[i][j]-j;
                    if(k <= maxK) continue;
                    boolean valid = true;
                    for(int p=0 ; p<5 ; p++){
                        if(subMatrixSum(i+dir1[p][0]*k, j+dir1[p][1]*k, k) != k*k) valid = false;
                    }
                    for(int p=0 ; p<4 ; p++){
                        if(subMatrixSum(i+dir0[p][0]*k, j+dir0[p][1]*k, k) != 0) valid = false;
                    }
                    if(valid){
                        a = i ; b = j ;
                        c = a+3*k-1 ; d = b+3*k-1;
                        maxK = k;
                    }
                }
            }
        }
        System.out.println(a+" "+b+" "+c+" "+d);
    }
    public static void main(String[] args) {
        Main sol = new Main();
        Scanner scan = new Scanner(System.in);
        int T = scan.nextInt();
        for(int t=0 ; t<T ; t++){
            sol.n = scan.nextInt();
            sol.m = scan.nextInt();
            for(int i=1 ; i<=sol.n ; i++){
                String str = scan.next();
                for(int j=1 ; j<=sol.m ; j++){
                    if(str.charAt(j-1) == '0') sol.w[i][j] = 0;
                    else sol.w[i][j] = 1;
//                    System.out.print(sol.w[i][j]);
                }
//                System.out.println("");
            }
            sol.findOptimizeMatrix();
        }
    }
}

展开全文 >>

git合并提交&修改历史提交信息

2019-03-20

一、合并提交

当你在本地已经有了好几次提交，但提交MR的时候发现这几次提交需要合为一次提交，想合并的时候该怎么做呢？

这时候需要使用git rebase -i进入交互模式来完成，请看下面的例子：

more >>

展开全文 >>

Java enum对象详细编写

2019-03-15

简单demo实现

下方是一份简单的java代码。一般我们最简单的enum写法会是如下即可

1
2
3

enum Fruit{
    Apple, Banana;
}

实际上这些Apple, Banana相当于是一个无参数的构造对象。如下想要运行有参数的构造对象，需要自己如下定义对应的构造方法。我们保证里面存了一个name和一个id。

import java.util.HashMap;
enum StreamCeommandType {
    UNSUPPORT_TYPE("UNSUPPORT TYPE", 0),
    START_STREAMJOB("START STREAMJOB", 1),
    STOP_STREAMJOB("STOP STREAMJOB", 2),
    CREATE_STREAMJOB("CREATE STREAMJOB", 3),
    DROP_STREAMJOB("DROP STREAMJOB", 4),
    START_APP("START APP", 5),
    STOP_APP("STOP APP", 6),
    CREATE_APP("CREATE APP", 7),
    DROP_APP("DROP APP", 8),
    USE_APP("USE APP", 9),
    LIST_STREAMJOBS("LIST STREAMJOBS", 10),
    SHOW_APP("SHOW APP", 11)
    ;
    private String name;
    int id;
    public static HashMap<String, StreamCeommandType> commands = new HashMap<String, StreamCeommandType>();
    static {
        commands.put("START STREAMJOB", START_STREAMJOB);
        commands.put("STOP STREAMJOB", STOP_STREAMJOB);
        commands.put("CREATE STREAMJOB", CREATE_STREAMJOB);
        commands.put("DROP STREAMJOB", DROP_STREAMJOB);
        commands.put("START APP", START_APP);
        commands.put("STOP APP", STOP_APP);
        commands.put("CREATE APP", CREATE_APP);
        commands.put("DROP APP", DROP_APP);
        commands.put("USE APP", USE_APP);
        commands.put("LIST STREAMJOBS", LIST_STREAMJOBS);
        commands.put("SHOW APP", SHOW_APP);
    };
    StreamCeommandType(String name, int id){
        this.name = name;
        this.id = id;
    }
    public int getValue(){
        return id;
    }
    @Override
    public String toString(){
        return String.valueOf(id) + " : " + name;
    }
    public static StreamCeommandType find(String name){
        if(name == null)
            return UNSUPPORT_TYPE;
        if(commands.containsKey(name))
            return commands.get(name);
        else return UNSUPPORT_TYPE;
    }
}
public class StreamCommandParser {
    public static void main(String [] args){
        System.out.println(StreamCeommandType.find("LIST STREAMJOBS"));
        System.out.println(StreamCeommandType.find("haha"));
    }
}

下方是个scala版本的类似实现

object UnkownCommandType extends Enumeration{
  type UnkownCommandType = Value
  val START_STREAMJOB = Value("start streamjob")
  val STOP_STREAMJOB = Value("stop streamjob")
  val CREATE_STREAMJOB = Value("create streamjob")
  val DROP_STREAMJOB = Value("drop streamjob")
  val START_APP = Value("start app")
  val STOP_APP = Value("stop app")
  val CREATE_APP = Value("create app")
  val DROP_APP = Value("drop app")
  val USE_APP = Value("use app")
  val LIST_JOBS = Value("list streamjobs")
  val UNSUPPORT_TYPE = Value("unsupport type")
  val arr$: Array[UnkownCommandType] = values.toArray
  val len$ = arr$.length
  //  arr$.foreach(x => println(x.toString) )
  lazy val commands: mutable.Map[String, UnkownCommandType] ={
    var commands = mutable.HashMap[String, UnkownCommandType]()
    arr$.foreach(x => commands.put(x.toString, x))
    commands
  }
  def find(command: Array[String]): Option[UnkownCommandType] = {
    if (null == command)
      Some(UNSUPPORT_TYPE)
    else{
      val cmd: String = command.length match {
        case 0 => ""
        case 1 => command(0).toLowerCase
        case _ => {
          if(command(1) == "application") command(0).toLowerCase + " " + "app"
          else (command(0) + " " + command(1)).toLowerCase
        }
      }
      if (commands.contains(cmd)) commands.get(cmd)
      else Some(UNSUPPORT_TYPE)
    }
  }
  def == (unkownCommandType: UnkownCommandType): Boolean ={
    toString == unkownCommandType.toString
  }
}

展开全文 >>

maven项目打jar包包含所有依赖运行相应主类程序

2019-02-28

在项目的pom.xml中添加如下配置，可以使得在mvn clean install 打包的jar包包含了所有的依赖包。

否则你得自己手动运行java 的时候添加这些jar包所在的classpath，也就是java -cp

<build>
    <plugins>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.1.0</version>
            <configuration>
                <archive>
                    <manifest>
                        <addClasspath>true</addClasspath>
                        <classpathPrefix>lib/</classpathPrefix>
                        <mainClass>jdbc.BeelineJDBC</mainClass>
                    </manifest>
                </archive>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id> <!-- this is used for inheritance merges -->
                    <phase>package</phase> <!-- bind to the packaging phase -->
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

指定主类：直接运行 java -jar xx.jar 的时候，会在这个jar包运行指定的主类，上述的pom.xml中也就是在

1	<mainClass>jdbc.BeelineJDBC</mainClass>

指定了主类为jdbc包下的BeelineJDBC类。

最后mvn clean install 就能在target中得到自己的jar包了。

展开全文 >>

scala/java 通过bash创建新的进程,杀死相应进程

2019-02-25

背景需求

我们经常可能需要从代码中启动一个脚本，或者一个程序来辅助自己完成需要的功能。比如bash脚本启动一个程序服务，可以通过进程之间的通信(比如socket)获取本程序想要的信息。

##进程的创建

Java提供了两种方法用来启动进程或其它程序：
（1）使用Runtime的exec()方法
（2）使用ProcessBuilder的start()方法

实际上Runtime.exec() 代码中最终也调用了ProcessBuilder的start()方法。

这里主要展示一个简单的执行查看网卡信息的代码和从java代码中启动一个bash进程执行java命令的代码

// bash查看网络配置信息
String cmd = "ifconfig";  
String [] execCmd = {"sh", "-c", cmd};
try {
    Process process = Runtime.getRuntime().exec(execCmd);
    process.waitFor();
    Scanner scanner = new Scanner(process.getInputStream());
    while(scanner.hasNextLine()){
        System.out.println(scanner.nextLine());
    }
}catch (Exception ex){
    ex.printStackTrace();
}

// bash执行java的main函数
String classpath = System.getProperty("java.class.path");
// -cp -> -classpath, 这里是前提是代码已经编译成class文件，且在infrastructure包下有一个包含main函数的TranswarpServer类，且这个main函数可以接受三个String的参数12346 server1 NORMAL
String cmd = "java -cp " + classpath + " infrastructure.TranswarpServer 12346 server1 NORMAL";
// String cmd = "nohup java -cp " + classpath + " infrastructure.TranswarpServer 12346 server1 NORMAL &";  //如果不想因为等待这个进程完成而堵塞，可以直接选择在bash里挂起进程
String [] env = {"PATH=%s:%s/bin".format(System.getenv("PATH"),System.getenv("JAVA_HOME"))};
String [] execCmd = {"sh", "-c", cmd};
try {
    Process process = Runtime.getRuntime().exec(execCmd, env);
    process.waitFor();
    Scanner scanner = new Scanner(process.getInputStream());
	// Scanner scanner = new Scanner(process.getErrorStream()); //可以查看java不能正常执行的报错信息
    while(scanner.hasNextLine()){
        System.out.println(scanner.nextLine());
    }
    //            Thread.sleep(1000);
}catch (Exception ex){
    ex.printStackTrace();
}

杀死进程

代码中启动的新进程可能是一个服务或者类似ping baidu.com这种的不停执行的命令，不会因为当前进程的退出而退出。而且进程process对象中也无法获取到进程的id，给我们用于kill。

杀掉创建的进程

代码中通过启动一个新的进程找到和之前启动的进程相关的程序，比如之前启动的进程包含了执行infrastructure.TranswarpServer的java程序，那么可以通过ps aux | grep ‘infrastructure.TranswarpServer’找到相关的进程信息

我们简单测试就可知，从代码中执行ps aux | grep ‘infrastructure.TranswarpServer’指令，得到的不止我们需要的信息，还包括grep本身的进程，以及我们bash -c启动的进程信息，如下所示的这前两个就是无用的，最后一个才是我们真正需要的，而且这个bash执行完，前两个进程实际就消失了。

但是我们不用在意这些，将所有的pid都收集起来形成一个list，均kill -9 掉，如果已经不存在，kill -9 也不会有什么作用，对真正我们要kill的pid，也能正常kill。

1
2
3

ganjun           11178   0.0  0.0  2432804   1324   ??  R     6:47PM   0:00.00 grep infrastructure.TranswarpServer
ganjun           11176   0.0  0.0  2435440   2124   ??  S     6:47PM   0:00.00 bash -c ps aux | grep 'infrastructure.TranswarpServer'
ganjun           10014   0.0  0.2  8207960  29408   ??  S     6:15PM   0:02.33 /usr/bin/java -cp ... infrastructure.TranswarpServer

def getProcessIds(key: String): util.ArrayList[Int] ={
    import java.io.{BufferedReader, InputStreamReader}
    var pids = new util.ArrayList[Int]()
    val re = false
    try {
        val command = s"ps aux | grep '${key}'"
        val process = Runtime.getRuntime.exec( Array("bash", "-c", command) )
        val br = new BufferedReader(new InputStreamReader(process.getInputStream))
        var line: String = br.readLine()
        while (line != null){
            println(line)
            val tInputStringStream = new ByteArrayInputStream(line.getBytes)
            // let string as input stream read the process id
            val scanner = new Scanner(tInputStringStream)
            val user = scanner.next()
            val pid = scanner.nextInt()
            scanner.close()
            pids.add(pid)
            line = br.readLine()
        }
        br.close()
        pids
    } catch {
        case e: Exception =>
        System.out.println(e.toString)
        null
    }
}
// 统计实际删除的进程个数
def killProcesses(key: String): Int={
    var killNumbers = 0
    val pids: List[Int] = getProcessIds(key)
    println( pids )
    pids.foreach(pid => {
        val process = Runtime.getRuntime().exec(Array("bash", "-c", s"kill -9 ${pid}"))
        if( process.waitFor() == 0)  // 因为有些得到的进程id是前面本身grep产生的无意义的
        	killNumbers += 1
    })
    killNumbers
}
killProcesses("infrastructure.TranswarpServer")

展开全文 >>

git fork下的项目管理

2019-02-20

大致介绍

我们协助他人进行合作开发的时候，往往是fork他人的项目，而不是直接在原项目基础上创建分支，在自己fork的项目下进行修改后，提交merge request。

fork的项目并不会自动随着源项目的修改而修改，所以我们每次修改一个项目之前，都要重新拉取原项目，将原项目他人做的修改合并过来。

管理流程

原项目git源: ssh_old

现在项目的git源: ssh_now

1. git clone ssh_now
2. 查看现在的项目源
   git remote -v
3. 添加原项目的源，名字定为upstream
   git remote add upstream ssh_old
   在此查看
   git remote -v
4. 每次对这个项目修改之前，都要去merge他人的修改
   git fetch upstream
   git merge upstream/master

展开全文 >>

EM算法及简单例子python实现

2018-09-18

扔硬币问题em实现(二项分布)

具体的算法介绍不赘述了，看看网上的资料就可以了解大概意思了。

这里主要是两份代码的实现。一份是参考：https://blog.csdn.net/LilyNothing/article/details/64443563

扔硬币问题的极大似然地实现

more >>

展开全文 >>

python3 sort cmp问题

2018-09-17

根据自定义的数据结构进行排序, 希望按照能够像c/c++中的写法一样自定义cmp函数。

python2中是支持的，但是python3取消了cmp的关键字，可以通过functools.cmp_to_key达到同样的效果

demo样例如下:

from functools import cmp_to_key
import sys
class A:
    def __init__(self, x, y):
        self.x = x
        self.y = y
        
def cmp_a(a, b):
    if a.x < b.x or (a.x == b.x and a.y < b.y):
        return -1
    elif a.x == b.x and a.y == b.y:
        return 0
    else:
        return 1
    
a_list = []
a_list.append(A(4, 5))
a_list.append(A(3, 5))
a_list.append(A(4, 3))
a_list.append(A(3, 4))
a_list.append(A(4, 4))
if sys.version_info[0] == 3:
    a_list.sort(key=cmp_to_key(cmp_a))
#     sorted(a_list, key=cmp_to_key(cmp_a))  # 上下两行功能一致
else:
    a_list.sort(cmp=cmp_a)
for a in a_list:
    print (a.x, a.y)

展开全文 >>

计算旋转矩形相交面积

2018-09-11

问题

对于两个旋转的矩形求相交的面积

输入: 矩形1的4个点 [(ax1, ay1), (ax2, ay2), (ax3, ay3), (ax4, ay4)]

矩形2的4个点 [(bx1, by1), (bx2, by2), (bx3, by3), (bx4, by4)]

输出: 矩形1和矩形2相交的面积

求解流程

将4个点按照时钟序排列(我实现的是逆时针)
(PS:这一步不重要，我只是为了利用python里给定的函数求交点必须要转成这个数据结构)得到矩形的数据结构表示 ((x,y), (w,h), angle) #(x,y)表示矩形的中心点, (w,h)表示边长，w不一定大于h，而是w表示y值最小的点(如果相等就x最小)右侧的边长，同理h表示左侧的边长。angle表示为度数(360度一圈)，是w对应的边长和x轴正方向的夹角。
求解出两个矩形相交的点以及某个矩形的顶点落在另一个矩形内的点集合S
对S求个凸包 hull
hull是个凸多边形，根据向量的叉积求解面积即可(如找到一个点p，将每一条边都和这个点相连的三角形通过叉积求面积进行加和)

more >>

展开全文 >>