jar파일로 만들어서 콘솔로 돌리기
* 프로젝트를 jar 파일로 만든다.
* 이때, 자바소스를 args[0], args[1]을 활용해서 코드를 수정한다.
hadoop fs -put /home/sist/data /user/sist
hadoop fs -ls
hadoop jar /home/sist/bigdataStudy/MapReduceProject1.jar com.sist.mapred.WordCount data/ output/
hadoop fs -ls
hadoop fs -cat /user/sist/output/part-r-00000
localhost:50030 에 들어가면 워드카운트 실행과정을 모두 볼 수 있다. (모니터링)
폴더 지울때는
hadoop fs -rmr /user/sist/output
파일 지울때는
hadoop fs -rm /user/sist/data
스프링과 하둡연동
* xml만들기
<hadoop:configuration>
fs.dafault.name=hdfs://localhost:9000
mapred.job.tracker=localhost:9001
</hadoop:configuration>
<hadoop:job id=”wordCountJob”
input-path=”/data/”
output-path=”/output2/”
jar-by-class=”com.sist.mapred.WordCount”
mapper=”com.sist.mapred.WordCountMapper”
reducer=”com.sist.mapred.WordCountReducer”
/>
<hadoop:job-runner id=”wordCountJobRunner”
job-ref=”wordCountJob”
run-at-startup=”true”
/>
이때, pom.xml에 아래 두 가지가 필요하다.
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-mongodb</artifactId>
<version>1.7.0.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.data</groupId
<artifactId>spring-data-hadoop</artifactId>
<version>1.1.0.RELEASE</version>
</dependency>