hive thrift java 예제

HIVE THRIFT를 이용한 JAVA EXAMPLE (eclipse maven plugin) 

Hive Server 켜기 두가지 방법

HIVE_PORT는 원하는 포트로 적용 (콘솔)

$ HIVE_PORT=3460 hive --service server

hadoop 실행시 같이 실행 

$ vi $HADOOP_HOME/sbin/start-all.sh      (hadoop 2.2.0 기준입니다.)

 스크립트 제일 아래 추가 

# start hive server

if [ -f "${HIVE_HOME}"/bin/hive ]; then

  HIVE_PORT=3406 "${HIVE_HOME}"/bin/hive --service hiveserver &

fi

이클립스 maven plugin이 설치되었다는 전제로 진행합니다. ( 참고 : http://sidcode.wordpress.com/2013/11/19/ubuntu-hadoop-eclipse-plugin-maven-%EC%84%A4%EC%B9%98/)

maven 프로젝트 생성 생략 아래 pom.xml이 뭔지 모르시겠다면  이사이트를 (http://hadoopi.wordpress.com/2013/05/25/setup-maven-project-for-hadoop-in-5mn/)참조 하시어 프로젝트를 하나 실행 해보시기를 바랍니다.'

POM.XML 설정 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.sidcode</groupId>

  <artifactId>ex.hive</artifactId>

  <version>0.0.1</version>

  <dependencies>

  <dependency>

  <groupId>org.slf4j</groupId>

  <artifactId>slf4j-log4j12</artifactId>

  <version>1.7.5</version>

  </dependency>

  <dependency>

  <groupId>org.apache.hive</groupId>

  <artifactId>hive-exec</artifactId>

  <version>0.12.0</version>

  </dependency>

  <dependency>

  <groupId>org.apache.hive</groupId>

  <artifactId>hive-jdbc</artifactId>

  <version>0.12.0</version>

  </dependency>

  <dependency>

  <groupId>org.apache.hive</groupId>

  <artifactId>hive-service</artifactId>

  <version>0.12.0</version>

  </dependency>

  <dependency>

  <groupId>org.apache.hive</groupId>

  <artifactId>hive-metastore</artifactId>

  <version>0.12.0</version>

  </dependency>

  <dependency>

  <groupId>org.apache.hadoop</groupId>

  <artifactId>hadoop-core</artifactId>

  <version>1.2.1</version>

  </dependency>

  </dependencies>

</project>

HIVE.JAVA 생성

package ex.hive;

import java.sql.Connection;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import java.sql.DriverManager;

/*

 * hive thrift example 0.0.1 by sidcode (2013-12-13)

 */

public class HIVE {

private static String dn = "org.apache.hadoop.hive.jdbc.HiveDriver";

public static void main(String[] args) throws SQLException {

try {

Class.forName(dn); // JDBC DRIVER LOAD

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

System.exit(1);

}

System.out.println("============ START ============");

// (jdbc:hive://HostName 또는 IP:port/default", "id", "pass")

Connection conn = DriverManager.getConnection("jdbc:hive://localhost:3406/default", "hive", "hive");

Statement stmt = conn.createStatement();

try { // 테이블 POKE 생성, 이미 생성되었을시 하단에 문구 출력 시킴

stmt.executeQuery("CREATE TABLE POKES(foo INT, bar STRING)"); // 테이블생성

} catch (SQLException e) {

// TODO: handle exception

System.out.println("Already table pokes!! :D");

}

ResultSet rs = stmt.executeQuery(getQuery());

if (!rs.next()) { // 최초 실행 유무 체크 하여 데이터 로드

// "/usr/local/hadoop/hive" 본인의 hive가 설치된경로

stmt.executeQuery("LOAD DATA LOCAL INPATH '/usr/local/hadoop/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE POKES"); // 데이터 로드

System.out.println("LOAD DATE......");

}

rs = stmt.executeQuery(getQuery());

while (rs.next()) {

System.out.println(rs.getString(1) + "  :  " + rs.getString(2));

}

System.out.println("============END============");

conn.close();

}

// query

private static String getQuery() {

String sql = "SELECT * FROM POKES";

return sql;

}

}

최종 완료 테스트 

이클립스에서 저장 후 실행(Run) 한후 아래와같이 되면 수고하셨습니다. :D