[리눅스-오라클]

오라클 시작 / 종료

$> sqlplus "/as sysdba"

SQL> startup;     // 오라클 시작

SQL> shutdown abort;   // 오라클 종료

SQL> exit      // 접속종료


오라클 리스너 시작 / 종료

$> lsnrctl

LSNRCTL> start     // 리스너 시작하기

LSNRCTL> stop     // 리스너 종료하기

LSNRCTL> exit


완벽 종료

$> cd $ORACLE_HOME/bin

$> emctl stop dbconsole   // em 다운

$> isqlplusctl stop    // isqlplus 다운

$> dbshut      // DB 다운

$> crsctl stop crs    // ASM 다운


[ 출처: http://blog.naver.com/csaiur/10079747202 ]

그전에 oracle 계정에 .bash_profile이 제대로 적용되었는지 확인 필요

하둡 시작하거나 멈출때 비밀번호 묻는 경우

- [master, slaves] 디렉토리 및 파일 권한 변경 ---------------------------------------------------------------------------------- $ chmod 755 ~/.ssh $ chmod 644 ~/.ssh/authorized_keys ----------------------------------------------------------------------------------

이게 안된 경우

혹은 철자 ㅡㅡ.;;

Hive Install Errors

1. could not create serversocket on address 0.0.0.0/0.0.0.0:9083
로컬에 9083 포트의 서비스를 강제 종료

 (1) netstat anp | grep 9083
 (2) kill -9 프로세스ID


2. Found class jline.Terminal, but interface was expected 
 하둡에 설치되어 있는 jline 라이브러리가 옛날 버전이라서 버전업그레이드를 한다

1.
${hive-home}/lib/jline-{latest version}.jar 를
${hadoop-home}/share/hadoop/yarn/lib 으로 복사 기존의 jline 라이브러리 삭제

2. export HADOOP_USER_CLASSPATH_FIRST=true 

하둡에러

hadoop이 safe mode 로 들어가면 
비정상 종료

해결방법

$ ./bin/hadoop dfsadmin -safemode leave 
Safe mode is OFF

HADOOP EROORS

1.There are 0 datanode(s) running and no node(s) are excluded in this operation

solution> 

     stop-all.sh

     rm rf datanode dir in hdfs-site.xml

     datanode format : hadoop datanode format

     start-all.sh

2. outofmemoryerror gc overhead limit exceeded

solution> 

     open hadoop-env.sh an edit below

     export HADOOP_CLIENT_OPTS="-Xmx100000m (much size in a ram)

 

엑셀에서 개행문자("\n" 혹은 alt+enter) 찾기

엑셀에서 개행문자("\n" 혹은 Alt+enter) 찾기

찾기 및 바꾸기 (Ctrl + f) 에서 Ctrl+j 하면 찾을 수 있음 :)

4.mahout 실습기 - mahout에서 lda 실행(수정중)

mahout에서 lda 실행

* 참고사이트
http://stackoverflow.com/questions/14757162/run-cvb-in-mahout-0-8
https://thebanalsblog.wordpress.com/2013/05/08/mahout-and-lda/ - 자바버전

* 환경
 java : jdk1.8
 hadoop : 2.5.0
 maohut 0.10.0

1. hadoop hdfs에 파일 올리기
 hadoop fs -put 로컬에샘플파일이있는폴더경로 hdfs에경로
 ex)hadoop fs -put /home/winchi/mahout/example/ input

2.디렉토리안 파일들로 부터 시퀀스 만들기
 mahout seqdirectory -i input -o seq1

3.시퀀스 파일로부터 벡터 만들기
 mahout seq2sparse -i seq1 -o vetors --namedVector
 default 가 tfidf 적용

4.벡터를 matrix형태로 바꿈(Text 클래스에서 typecating 에러가 발생한다면 이과정이 필수)
mahout rowid -i vetors/tfidf-vectors/part-r-00000 -o rowid

5.LDA 실행 : topic수와 iteration 수가 필수 그리고 단어사이즈를 알수 있는 dictionary 파일도 필수
mahout cvb -i rowid/matirx -o ldaresult -k 토픽수 -x iteration 수 -dict vetors/dictionary.file-0 -mt modles -dt docTopic

6.결과확인 - 정렬후 상위 20개만
mahout vectordump -i ldaresult -d vetors/dictionary.file-0 -dt sequencefile -sort true -vs 20

* vectordump의 -o 옵션은 파일로 만드는건데, hdfs 상이 아닌 locall 상에 파일을 만든다.
 hadoop fs -get 까지 해주는..

이렇게 하면 콘솔에 확인 파일로 확인할려면 -o 옵션