우분투 의사가상모드3: 하이브

우분투 의사가상모드3: 하이브

1. hive 0.9.0 tar.gz 를 다운로드

 

2. sudo apt-get install mysql-server 라고 치고

이래처럼 패스워드를 입력하라고 나오면 hive라고 두 번 입력한다.

mysql -u root -p 라고 치면 들어감.

grant all privileges on hive.* to hive@localhost identified by ‘hive’ with grant option;

라고 하면 권한 부여.

grant all privileges on hive.* to hive@’%’ identified by ‘hive’ with grant option;

라고 한 번 더 주면, 로컬호스트 뿐만 아니라 다른 어떤 문자(%)에도 권한 부여

Flush privileges;

exit; 로 빠져나옴.

mysql -u hive -p 라고 치면 hive로 들어감

show databases 하면 데이터 베이스를 볼 수 있음

cd /etc 로 들어가서

sudo nano environment 로 환경설정 파일을 수정할 것.

수정을 다 마치면 source environment 라고 써야함.

PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/jdk1.8.0_45/bin:/usr/local/hadoop-1.2.1/bin:/usr/local/zookeeper-3.3.6/bin:/usr/local/hbase/bin:/usr/local/hive/bin”
JAVA_HOME=/usr/local/jdk1.8.0_45
HADOOP_HOME=/usr/local/hadoop-1.2.1
ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
HBASE_HOME=/usr/local/hbase
HIVE_HOME=/usr/local/hive
HIVE_CONF_DIR=/usr/local/hive/conf
HIVE_PORT=10000

환경설정

hive 의 conf 폴더로 들어가서 hive-default.xml 의 사본을 만들고 이름을 hive-site.xml 로 바꿀것.

hive-env.sh.template의 사본을 만들고 이름을 hive-env.sh 로 바꿀것.


 

각 파일들의 내용을 그림과 동일하게 고친다.








 

아래 저장 경로인 /user/hive/warehouse 를 기억해둘 것.

 

mvn리포지토리에 들어가서

mysql Java Connector 자르파일을 다운받아 하이브의 lib폴더 안에 넣는다.

cd해서 루트로 간다.

하둡을 돌린 후,(hadoop namenode -format 과 start-all.sh)

터미널에서 아래와 같이 네 줄을 친다.

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod a+w /tmp

hadoop fs -chmod a+w /user/hive/warehouse

cd /usr/local/hive/bin 으로 들어가서

./hive  를 쳐서 하이브를 실행한다.

권한 문제가 생긴다면

hadoop fs -chmod 777 /tmp/hive  를 친다.

csv를 받아와서 home에 넣는다.




 

 

/usr/local/hive/bin에서

./hive –service hiveserver &    라고 쓸것.

에러가 길게 나올 경우  ./hive –service hiveserver -p 10001  이라고 쓰면 됨.