To. Me

안녕하세요. 거의 1년만에 공개 포스팅을 작성합니다. 다름이 아니라 내부적으로 계속 KOMORAN에 대해서 업데이트를 진행 중에 있었으며, 이제 그에 따른 결과물을 다시 한번 공유하고자 이렇게 글을 작성합니다. 1.x 버전과 마찬가지로 이번 버전도 많은 분들의 피드백과 도움이 있어야 더 좋은 형태소 분석기로써의 면모를 갖출 수 있을 것 같습니다. 먼저 속도, 정확률 측면에서 성능이 좋아졌으며 부가적으로 아래와 같이 공백이 포함된 고유명사를 분석할 수 있는 기능이 추가되었습니다. 입력 문장 : 바람과 함께 사라지다를 봤습니다.사용자 사전 : 바람과 함께 사라지다/NNP분석 결과바람과 함께 사라디자/NNP+를/JKO보/VV+았/EP+습니다/EF+./SF 위와 같은 기능을 추가한 이유는 기존의 어절 단위로 분..

komoran 1.2(예정)검색 엔진을 위한 색인기 추가기존 어절 단위 형태소 분석기 외에 문장 단위 형태소 분석기 추가 komoran1.12-core library -required library shineware-common-lib-1.0.jar -required datas [version 1.12 history]score 계산시 발생하던 버그 수정.- 정확률 향상n 기호 및 숫자 등을 제외한 순수 한글 어절 ( 약 17만 어절, 33만 형태소 )u 어절 정확률 : 92.55% -> 93.04%u 형태소 별 품사 정확률 : 94.97% -> 95.39%n 기호 및 숫자 등을 포함한 전체 어절 ( 약 20만 어절, 46만 형태소 )u 어절 정확률 : 84.36% -> 84.80%u 형태소 별 품사 정확..

komoran 1.2(예정)검색 엔진을 위한 색인기 추가기존 어절 단위 형태소 분석기 외에 문장 단위 형태소 분석기 추가 komoran 1.1-core library-required library-required data files 고유 명사 약 50만 단어 추가.- 웹으로 수집 가능한 고유명사 추가- 한글 위키피디아에 수록된 단어 목록 추가기타 불규칙 변환 관련된 버그 수정.사전 추가에 따라 최소 1G 이상의 메모리를 필요로 합니다. (-Xmx1G)사용법은 1.0 버전 참조. komoran 1.0http://shineware.tistory.com/entry/KOMORAN-10

1. KOMORAN? KOMORAN은 SHINEWARE SOFT에서 제작한 한국어 형태소 분석기로서 자바 라이브러리 형태(.jar)로 제공됩니다. KOMORAN은 기존 형태소 분석기의 연구 결과들을 바탕으로 하여 ‘속도’, ‘성능’, ‘사전 관리 비용’에서 가장 우수한 성능을 낼 수 있도록 설계되었습니다. 2. KOMORAM 특징 KOMORAN은 자소 단위, 확률 기반의 형태소 분석기 입니다. 속도, 성능, 사전 관리 측면에서 기존 형태소 분석기와 차별되는 특징은 아래와 같습니다. - 속도 n Hash 기반의 파싱 방법을 적용하여 한글 분석 속도 향상 n TRIE 기반의 사전 구성으로 사전 재탐색 횟수를 최소화하여 사전 탐색 속도 향상 n KOMORAN 내부의 자료형(Data Type)을 대부분 정수(I..

한글 형태소 분석기 KOMORAN 0.6 버전을 공개합니다. 네이밍과 관련하여 몇몇 분의 문의를 주셨는데, KOMORAN은 KOrean MORphological ANalyzer의 약자입니다. 버전업 주요 히스토리 ver 0.6 - 기존 0.5 버전 ( 링크 )에 기분석 사전을 추가하였습니다.- 기분석 사전 추가로 인해 분석 속도가 2배 가량 빨라졌습니다. (sec 당 200kb 분석)- VM는 최소 512mb를 필요로 합니다. ( -Xms512m -Xmx512m ) 형태소 분석 Core 라이브러리 파일 형태소 분석 라이브러리 내 사용되는 유틸성 라이브러리필요 라이브러리 파일 사용법은 ver 0.5와 같습니다. ( 링크 ) 본 형태소 분석기는 상업적 용도의 사용을 금지합니다. (안정성 검증 필요, 별도 연..

자바로 만든 한글 형태소 분석기를 공개합니다. 이름은 KOMORAN입니다. 현재 자체 테스트는 완료하였습니다. 기본적인 어절 단위 형태소 분석기를 따르고 있습니다. (sec 당 약 100kb 분석) 사용 중 발생하는 에러는 댓글로 부탁드립니다. 필요한 라이브러리 파일은 아래와 같습니다.형태소 분석 core 라이브러리 형태소 분석 라이브러리 내 사용된 유틸성 라이브러리 분석에 필요한 모델 파일들은 아래와 같습니다. 사용법은 아래와 같습니다. public static void main(String[] args) { MorphologyAnalyzer analyzer = new MorphologyAnalyzer("형태소 분석용 파일들이 저장된 루트 폴더"); Listreslut = analyzer.analyze..

자연어처리에 대한 공부를 하다보면 가장 많이 듣는 단어 중 하나는 feature이다. 그리고 항상 실험 부분에서 많이 나오는 단어는 위 제목과 같이 accuracy, precision, recall 이다. 특히 문서 분류나 검색에서 많이 사용되는 실험 척도인데, 주로 precision과 recall을 구한 뒤에 F-measure로 최종 결과를 내는 논문들이 많았다. 그리고 accuracy로 최종 결과를 내는 논문들 역시 많이 있었는데. 정확률? 재현률? 정밀도? 나 역시 많은 논문을 접하면서 쉽게 단어가 노출되어서 익히 들어왔지만 항상 그때그때 마다 헷갈리는 부분이다. 마치, 일란성 쌍둥이를 한참 들여다보고 나서야 누가 형이고, 동생인지 알 수 있는 것처럼 말이다. 이제 accuracy, precisio..

상호정보량은 두 사건 사이가 얼마나 밀접한 관계가 있는지를 알아볼 수 있는 방법이다. 사전적인 의미로는 "사상 x의 발생을 아는 데 따라 전해지는 정보량과 다른 사상 y가 발생한다는 조건 하에서 사상 x의 발생을 아는 데 따라서 전해지는 조건 있는 정보량과의 차."( 네이버 링크 발췌 - 상호정보량 ) 말은 상당히 어렵다. 그러나 실제로는 매우 심플한 이론이다. 사건 A가 일어날 확률 : P(A)사건 B가 일어날 확률 : P(B) 이라고 할 때, 사건 A와 사건 B의 상호정보량은 아래와 같다. MI(A,B) = P(A∩B) / ( P(A)*P(B) ) 위 수식을 말로 쉽게 풀어쓴다면, 사건 A가 일어날 확률과 사건 B가 일어날 확률 중에 사건 A와 B가 동시에 일어날 확률이다. 실제 예를 들어서 설명해보..