SEARCH
TOOLBOX
LANGUAGES
Hadoop

Hadoop

From Chaehyun

(Difference between revisions)
Jump to: navigation, search
(외부 jar 사용하기)
(외부 jar 사용하기)
Line 5: Line 5:
= 외부 jar 사용하기 =
= 외부 jar 사용하기 =
-
* local 로 돌릴 때 문제가 발생하는 듯함. local로 돌릴 때는 classpath에도 추가하고, libjars에도 추가할 것. delimeter 주의
+
* local 로 돌릴 때 문제가 발생하는 듯함. local로 돌릴 때는 classpath에도 추가하고, libjars에도 추가할 것. delimiter 주의
* 먼저 export HADOOP_CLASSPATH=a.jar:b.jar
* 먼저 export HADOOP_CLASSPATH=a.jar:b.jar
** HADOOP_CLASSPATH tends to be used to add to bin/hadoop's classpath. Because of the way the comment is written, administrator's who customize hadoop-env.sh often inadvertently disable user's abilities to use it, by not including the present value of the variable.
** HADOOP_CLASSPATH tends to be used to add to bin/hadoop's classpath. Because of the way the comment is written, administrator's who customize hadoop-env.sh often inadvertently disable user's abilities to use it, by not including the present value of the variable.
* 그리고 하둡을 실행할 때, -libjars a.jar,b.jar 옵션 추가
* 그리고 하둡을 실행할 때, -libjars a.jar,b.jar 옵션 추가
** Specify comma separated jar files to include in the classpath. Applies only to job.
** Specify comma separated jar files to include in the classpath. Applies only to job.
-
* classpath에 추가할 때는 delimeter가 : 이고, libjars에서는 , 임에 주의할 것
+
* classpath에 추가할 때는 delimiter가 : 이고, libjars에서는 , 임에 주의할 것
**  http://hadoop.apache.org/common/docs/r0.20.2/commands_manual.html
**  http://hadoop.apache.org/common/docs/r0.20.2/commands_manual.html

Revision as of 05:29, 25 May 2011

Contents


cygwin 에서 native library 사용하기

  • cygwin 에서는 기본적으로 hadoop native library가 지원되지 않기 때문에 압축 등을 사용할 수 없음

외부 jar 사용하기

  • local 로 돌릴 때 문제가 발생하는 듯함. local로 돌릴 때는 classpath에도 추가하고, libjars에도 추가할 것. delimiter 주의
  • 먼저 export HADOOP_CLASSPATH=a.jar:b.jar
    • HADOOP_CLASSPATH tends to be used to add to bin/hadoop's classpath. Because of the way the comment is written, administrator's who customize hadoop-env.sh often inadvertently disable user's abilities to use it, by not including the present value of the variable.
  • 그리고 하둡을 실행할 때, -libjars a.jar,b.jar 옵션 추가
    • Specify comma separated jar files to include in the classpath. Applies only to job.
  • classpath에 추가할 때는 delimiter가 : 이고, libjars에서는 , 임에 주의할 것
Retrieved from "http://chaehyun.kr/w/Hadoop"