vmware 우분투ubuntu 하둡hadoop 세팅하기
“하둡 다운받기” 포스팅에 이어서 씁니다. 다운받지 못하신 분들은 아래 포스팅을 참조하세요.
http://blog.naver.com/bb_/220285466611
우분투 하둡 세팅하기
1. 하둡 압축풀기
다운로드 폴더 안쪽의 hadoop-1.2.1.tar.gz 파일을 압축 풀자. 압축을 푸는 방법은 (1)gz파일을 더블클릭 한 후, (2)압축파일이 열려서 안의 폴더가 보이면, 폴더 위에서 우클릭 -> 압축풀기 로 풀면 된다.
그러면 위와 같이 hadoop-1.2.1 폴더가 생긴다.
2. 폴더 옮기기
이제 압축을 푼 하둡 폴더를 “컴퓨터/usr/local” 안쪽으로 옮겨놓자.
터미널에서 “cd 다운로드”를 쓰고 엔터치자. 다운로드 폴더로 들어가라는 뜻이다. “sudo mv ./hadoop-1.2.1 /usr/local” 하면 된다. 최고관리자(sudo) 권한으로 현재경로(./) 안의 hadoop-1.2.1 폴더를 /usr/local 경로로 옮긴다(mv)는 뜻이다.
3. 패스 잡기(Hadoop Path)
윈도우에서 자바를 쓸 때나, 리눅스에서 자바를 쓸 때나, 리눅스에서 하둡을 깔 때 모두 마찬가지로 패스(Path)를 잡아줘야 한다. 원래대로라면 vi에디터(윈도우에서 메모장에 해당하는 프로그램)을 써야겠으나, 좀 더 사용이 간편한 nano 프로그램을 써보도록 하자.
터미널에서 “cd /etc”로 etc 폴더로 이동한 후, “sudo chmod 646 environment”라고 쓰자. environment 파일에 대한 권한을 646으로 바꿔주는 명령어이다. 주의점은 “source environment”를 써줘야 저장이 된다.
이번엔 터미널에서 “cd /etc”로 etc 폴더로 이동한 후, “sudo nano environment”라고 쓰자. 최고관리자 권한(sudo)하에 nano라는 프로그램으로 environment(파일이름)라는 파일을 열겠다는 뜻이다.
기존의 내용은 아래와 같다.
|
PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games”
|
여기에 자바를 깔았다면 다음과 같이 내용을 변경하자. 보고 있는 바와 같이 Path에는 콜론(:)을 붙이고 주소를 갖다 붙이면 추가된다.
|
PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/jdk1.8.0_31/bin”
|
여기에 하둡까지 깔았다면 다음과 같은 내용으로 바꾸자.
|
PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/jdk1.8.0_31/bin:/usr/local/hadoop-1.2.1/bin“ HADOOP_HOME=”/usr/local/hadoop-1.2.1″ |
위와 같이 수정 완료했다면 ctrl+x (닫기) -> y (저장) -> 엔터 로 nano를 빠져나가자.
주의할 점은, 마지막으로 터미널 상에서 source environment 를 쳐야 변경사항이 제대로 저장된다.
4. 지에디트로 파일 편집하기
(1) hadoop-env.sh
local/hadoop-1.2.1/conf 에 들어가서 hadoop-env.sh를 찾는다. 열어서 기존의 “# export JAVA_HOME=/usr/lib/j2sdk1.5-sun” 부분을,
export JAVA_HOME=/usr/local/jdk1.8.0_31
export HADOOP_HOME=/usr/local/hadoop-1.2.1
export HADOOP_HOME_WARN_SUPPRESS=1
로 바꾸자.
(2) core-site.xml
local/hadoop-1.2.1/conf 에 들어가서 core-site.xml를 찾는다. 마우스 우클릭 -> 지에디트로 열기 로 파일을 연다.
아래와 같이 입력하자.
(3) hdfs-site.xml
local/hadoop-1.2.1/conf 에 들어가서 hdfs-site.xml를 찾는다. 마우스 우클릭 -> 지에디트로 열기 로 파일을 연다.
아래와 같이 입력하자.
(4) mapred-site.xml
local/hadoop-1.2.1/conf 에 들어가서 mapred-site.xml을 찾는다. 마우스 우클릭 -> 지에디트로 열기 로 파일을 연다.
아래와 같이 입력하자.
5. 하둡 초기화
터미널을 열어, “cd /usr/local/hadoop-1.2.1/bin“을 통해 폴더를 이동한다. 해당 경로 안에 hadoop 실행 파일이 있기 때문이다.
이어서 “./ hadoop namenode -format“을 통해 하둡을 초기화한다.
질문과 함께 (Y or N)가 뜬다면 대문자 Y를 입력하자.
6. 하둡 실행
cd /usr/local/hadoop-1.2.1/bin”을 통해 폴더를 이동한다(이미 해당 경로에 위치하고 있다면 생략해도 된다).
이어서 “./ start-all.sh“을 통해 하둡을 실행할 수 있다.
7. jps 확인
터미널에서 jps 라고 썼을 때, 세 가지가 확인되어야 한다. namenode, TobTracker, Jps 세 개가 다 떠야한다. 그렇지 않고 2개 이하가 뜬다면 거쳐온 세팅을 되짚어봐야 한다.
8. 연결 확인
마지막으로 파이어폭스를 켜서 두 군데에 연결 확인을 해보자.
http://localhost:50030/jobtracker.jsp , http://localhost:50070/dfshealth.jsp 이렇게 두 군데에 접속 시도하면 연결이 되어야 한다.
만약 Unable to connect 가 나오면, 중간 과정을 다시 되짚어봐야 한다.
