하이브 설치 기초(hive-0.9.0)
1. mysql 설치
(1) mysql 설치 : sudo apt-get install mysql-server
(2) sql 접속 : mysql -u root -p
(3) 권한주기 : grant all privileges on *.* to ‘hive’@localhost identified by ‘hive’;
(4) 빠져나와서 하이브 유저로 sql 접속 : mysql -u hive -p
hive> 로 접속되면 됨.
2. 구글에서 hive-0.9.0.tar.gz 검색해서 다운로드
3. 해당 파일 압축 풀고 로컬 폴더로 이동시키기
/usr/local/hive-0.9.0
4. 환경설정 파일 수정
sudo nano /etc/environment
PATH 뒤쪽에 내용추가. (따옴표 안쪽 부분에 콜론을 붙이고 이어 쓰면 됨)
PATH = “……..:/usr/local/hive-0.9.0/bin”
HIVE_HOME=”/usr/local/hive-0.9.0″
5. Hive설정 파일 수정
폴더 경로 /usr/local/hive-0.9.0/conf 로 간다.
(1) hive-env.sh.template 을 복사 떠서 hive-env.sh 라는 이름으로 만든다.
(2) hive-default.xml.template 를 복사 떠서 hive-site.sh 라는 이름으로 만든다.
6. hive-env.sh 파일 수정하기
(1) #export HADOOP_HEAPSIZE=1024 를 찾아서
앞의 샵 떼고 export HADOOP_HEAPSIZE=4096 로 변경
(2) # HADOOP_HOME=${bin}/../../hadoop 을 찾아서
앞의 샵 떼고 HADOOP_HOME=/usr/local/hadoop-1.2.1 로 변경 (실제 하둡 경로를 지정)
(3) # export HIVE_CONF_DIR= 을 찾아서
앞의 샵 떼고 export HIVE_CONF_DIR=/usr/local/hive-0.9.0/conf 로 변경
6. hive-site.xml 수정하기
컨트롤 F키를 이용해서 특정 문구를 찾고 변경하는 작업을 한다.
(1) <property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
를 찾아서
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
로 변경
(2) <property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
를 찾아서
<property>
<name>hive.stats.jdbcdriver</name>
<value>com.mysql.jdbc.Driver</value>
<description>The JDBC driver for the database that stores temporary hive statistics.</description>
</property>
로 변경
(3) <property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value> #이 부분에 아이디 넣기
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value> #이 부분에 비밀번호 넣기
<description>password to use against metastore database</description>
</property>
를 찾아서 아이디 밸류와 패스워드 밸류를 변경
(4) <property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
의 밸류값을 기억하기. 변경할건 없음.
7. 터미널 들어가서 세팅
hadoop dfs -mkdir /tmp
hadoop dfs -mkdir /user/hive/warehouse
hadoop dfs -chmod g+w /user/hive/warehouse
hadoop dfs -chmod g+w /tmp
8. mysql-connector-java-5.1.22.jar 을 받아서
/usr/local/hive-0.9.0/lib 안에 붙여넣기한다.
9. 하이브 실행
터미널에 source /etc/environment 라고 친다.
터미널에서 hive라고 친다.
아래처럼 나오면 실행되는 것이다.
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/usr/local/hive-0.9.0/lib/hive-common-0.9.0.jar!/hive-log4j.properties
Hive history file=/tmp/sist/hive_job_log_sist_201606181517_383526935.txt
hive>