2. mahout 실습기-hadoop 설치 (수정중)

두번째 hadoop 설치 및 환경설정

참고 페이지

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

http://kertz.egloos.com/209218


1. hadoop 다운 , java 다운

2. java path, hadoop path 설정
 /etc/profile/ 이든 /home/계정/.bash_profile

3. /etc/hosts 설정
 마스터 노드, 데이터 노드들을 설정하는곳
 ifconfig 명령어 실행후 ip 주소로 master 잡고 그 뒤로 node들을 잡는다

ex)
xxx.xxx.xxx.1 master
xxx.xxx.xxx.2 node1xxx.xxx.xxx.3 node2xxx.xxx.xxx.4 node3

4. hadoop 파일 시스템을 위한 폴더 생성 및 권한 설정
*root 계정에서 실시
# mkdir /home/유저명/fs
# mkdir /home/유저명/fs/data# mkdir /home/유저명/fs/name# mkdir /home/유저명/fs/mapreduce# mkdir /home/유저명/fs/mapreduce/local# mkdir /home/유저명/fs/mapreduce/system

# chmod -R 755 /home/유저명/fs (hadoop fs -ls 하면 그자리임)

5.ssh 설정을 위해서 rsa 키 복제
 1)키 생성
   ssh-keygen -t rsa
 2)생성된 키 확인
  cat ~/.ssh/id_rsa.pub 
 3)하위 노드로 복제
 sudo scp ~/.ssh/id_rsa.pub 유저명@node1:~/master_key
->수정
 ssh node1          // node1로 접속함.[kertz@node1 ~]# mkdir ~/.ssh       // 여기서부터는 ssh 폴더를 생성하고 공인된 키로 네임노드의 키를 추가하는 과정임[kertz@node1 ~]# chmod 700 ~/.ssh[kertz@node1 ~]# mv ~/master_key ~/.ssh/authoried_keys[kertz@node1 ~]# chmod 600  ~/.ssh/authoried_keys