- annotator : 태깅하는 사람, 외국 논문에서는 이렇게 표현한다. 혹은 annotation 했다고 하면 태깅한 코퍼스라고 생각하면 된다. 전문적인 training 필요로 하기때문에 시간과 비용이 많이 든다.
- tucker : 인터넷 같은 커뮤니티 공간에 태깅할 문서를 뿌리면 사용자들이 태깅한 문서를 보낸다. annotator 보다 시간과 비용은 들지 않으나 신뢰도가 좋지 않을 것같다.
Kappa Value : Cohen's Kappa Coefficient
두명의 태거들이 태깅한 코퍼스의 일치도를 구하는 것으로 태깅된 코퍼스의 신뢰도를 측정할 수 있다. 문서들의 카테고리를 분류 한다고 했을 때, 첫번째 문서를 첫번째 사람은 "정치" 카테고리로 하고 두번째 사람도 "정치" 라고 했으면 1이 된다. 두번째 문서를 첫번째 사람이 "스포츠"라 하고 두번째 사람이 "사회"라고 태깅했으면 0이된다. 이 관계를 이용해서 아래의 식으로 값을 구할 수가 있다.
k : 구하고자 하는 카파 상관계수
Pr(a) : 전체의 문서 중에서 두명의 태거가 일치한 문서 갯수
Pr(e) : 전체의 문서 중에서 두명의 태거들이 우연히 맞춘 갯수, 무작위로 계산해서 맞춘 갯수
말로 표현하니 모호한 면이 있는데 예제로 알아 보도록 하자.
위의 그림에서 Pr(a)를 구하면 총 문서 갯수가 50(20+5+10+15)이고 두 태거들이 Yes라고 한 갯수가 20, No 라고 한 갯수가 15이므로 총문서에서 두 태거의 정답 일치율은 아래의 식과 같다.
Pr(e)는 두명의 태거가 Yes, No라고 비율의 제곱을 더해주면 된다. 아래의 식과 같다.
위의 식에서 Pr(Yes)는 아래와 같다.
또한 Pr(No)는 아래와 같다.
결국 제곱해서 더하면 아래와 같은 값을 가지게 된다.
끝으로 우리가 구하고자 하는 Kappa Value 는 다음과 같은 값을 가진다.
보통 Kappa Value가 0.8 이상이 넘을 경우에는 아주 신뢰도가 높은 코퍼스라고 판단 할 수 있다고 한다.
그렇다면 태거가 2명이상일때는 어떻게 할까?
만약에 4명의 태거가 태깅을 했다고 보자, 각각을 A,B,C,D라고 하면.
4명의 태거가 태깅한 코퍼스의 신뢰도는 (A,B), (A,C), (A,D), (B,C), (B,D), (C,D) 와 같이 모두 가능한 두쌍으로 나누고 각각의 Kappa Value를 구한 다음 평균을 계산하면 된다.
