To. Me

KOMORAN 3.0 beta

shine_ing — Thu, 12 May 2016 02:00:39 +0900

KOMORAN 3.0에 대한 안정성 및 피드백을 받기 위해서 베타 버전을 공개합니다.

2.0 대비 주요 변화는 아래와 같습니다.

속도 개선

KOMORAN 2.0 : 초당 0.4MB 분석 (MB/sec)
KOMORAN 3.0 : 초당 1.0MB 분석 (MB/sec)

기능 추가

형태소 분석 결과로 입력 문장 내 형태소 위치 정보 제공
형태소 분석 결과 중 명사 추출 기능 제공
형태소 분석 결과를 plain text로 제공
training 모듈 추가 (직접 training/tuning 하실 수 있습니다!!!!)

gradle 적용
wiki title을 사전에 적용

기존의 자료 구조를 trie에서 aho-corasick으로 변경하여 속도를 개선하였습니다. (aho-corasick을 찾는데까지 오래 걸림...ㅠㅠ)

또한 lucene 기반의 analyzer에서 쉽게 적용할 수 있도록 분석 결과 token의 position 정보를 제공합니다. (개선해야 될 부분이 많습니다...ㅠ)

아직 KOMORAN 2.0처럼 많이 부족합니다.

그러나 KOMORAN 2.0 처럼 많이 사용해주시고 많은 피드백을 주신다면 감사드리겠습니다. (_ _)

사용법 및 소스는 아래 링크에서 확인하실 수 있습니다.

https://github.com/shin285/KOMORAN

덧, 있어보이려고 github repository에 badge를 2개나 붙였으나....개발 능력 부족으로 인해 coverage가 매우 낮지만....동작에는 문제가 없습니다..ㅠㅠ

KOMORAN ver 2.4 for python3

shine_ing — Fri, 26 Dec 2014 13:27:40 +0900

한국어 형태소 분석기 KOMORAN 2.4의 파이썬 버전을 릴리즈 하였습니다.

Jpype를 이용하여 기존 komoran 라이브러리들을 python3에서 사용할 수 있습니다.

소스 코드는 아래 url에서 확인하실 수 있습니다.

https://github.com/shineware/komoranPy_2.0

KOMORAN 2.x 라이센스 변경 공지

shine_ing — Mon, 8 Dec 2014 02:36:56 +0900

자바 형태소 분석기 KOMORAN-2.0을 Apache License 2.0으로 공개합니다.

개발실력이 미천하여 이번에도 부끄러운 마음을 갖고 공개하였습니다.

많은 채찍질과 도움으로 자연어처리 비전공자분들도 다양하게 활용할 수 있기를 희망합니다.

아래 링크에서 소스코드를 다운 받으실 수 있습니다.

https://github.com/shineware/komoran-2.0

왜 갑자기 공개하나요?

- 저는 이제 3.0을 만들겁니다....?! 응?!?!

이제 개발실력이 다 들통났으니 어떻게 먹고 사실건가요?

- 사실 저도 걱정입니다. 대단한 알고리즘이 들어간것도 아니고 그렇다고 소스를 기가 막히게 짜놓은 것도 아닌데.. 이렇게 공개해버리면 제 실력만 들통나서..하....

사실 대단한걸 오픈한건 아닙니다만, 제 개인적으로는 2년여 간의 연구와 노력의 산물입니다.

형태소 분석 성능은 사실 비슷합니다. 그러나 저는 정말로 유연하고 실제 필드에 적합한 형태소 분석기가 나오기를 원했습니다. 그러나 대부분의 형태소 분석기는 지금도 "성능"만을 위해서 연구되고 있는 실정입니다. 기다리다 못해 만들어보기 시작하였고 그 결과 2년 이라는 시간이 흘러 지금 이 글을 쓰고 있습니다.

제가 만들고자 하는 형태소 분석기의 목표는 이뤘습니다. 그렇기 때문에 오픈 소스로 공개하고 다양한 사람들의 참여로 인해 진화하였으면 하는 바램에서 이렇게 공개하게 되었습니다. 저 스스로도 2.0을 뛰어넘는 3.0을 만들기 위해 연구를 계속이어 갈 예정입니다. 앞으로도 지속적인 관심과 채찍질 부탁드리겠습니다. 감사합니다.

마지막으로 라이센스 비용과 관련하여 문의 주셨던 분들께는 라이센스 정책 변경과 관련된 메일을 일일이 드리지 못하였습니다. 양해부탁드립니다.

KOMORAN ver 2.4 (자바 한국어 형태소 분석기)

shine_ing — Mon, 24 Nov 2014 02:49:24 +0900

KOMORAN 2.4

manual

komoran_2.0_manual(ver_2.4).pdf

library

data file

주요 업데이트 내용

불규칙 사전 정제
형태소 분석 시 n-best 분석 결과 제공 기능 추가

sample code

String in = "바람과 함께 사라지다를 봤어.";
int nbest = 2;

List<List<List<Pair<String,String>>>> analyzeNbestResult = komoran.analyze(in,nbest);

분석 결과

best 1

바람과 함께 사라지다/NNP+를/JKO
보/VV+았/EP+어/EF+./SF

best 2

바람과 함께 사라지다/NNP+를/JKO
보/VX+았/EP+어/EF+./SF

기타

어절 단위 n-best 형태소 분석은 분석 대상 문장을 공백 단위로 tokenize하여 어절 단위로 입력

불규칙 사전 빌드 및 처리 방식 변경에 따른 성능 개선

기호 및 숫자 등을 제외한 순수 한글 어절

어절 정확률 : 93.37% -> 93.60%
형태소 별 품사 정확률 : 95.62% -> 95.88%

기호 및 숫자 등을 포함한 전체 어절

어절 정확률 : 91.59% -> 92.12%
형태소 별 품사 정확률 : 95.06% -> 95.36%

버전 히스토리

[2.3]

학습 데이터 정제

[2.2]

불용 로그 제거
공백 미포함 형태소 분석 기능 추가

[2.1.2]

사용자 환경에 따른 용량별 데이터 제공
조사 결합 규칙 적용
연결 어미 품사 확장
기타 버그 수정

[2.1.1]

연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경
버그 수정 및 안정화

[2.1]

형태소 분석기 안정화 및 속도 개선

[2.0.4]

띄어쓰기 관련 버그 및 기타 안정화

[2.0.3]

사용자 사전 포맷 오류 수정

[2.0.1]

분석 중 에러가 발생하는 치명적 오류 수정

[2.0.0]

komoran 2.0 beta 최초 공개

[2.0.0] 미만

링크 참조 - history

자세한 사용법은 하기 링크 또는 첨부된 메뉴얼을 참조하시기 바랍니다.

- 사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

- 데모 사이트

KOMORAN과 관련된 문의 사항은 ceo@shineware.co.kr로 연락주시기 바랍니다.

자바 HMM 라이브러리 소스 공개

shine_ing — Thu, 13 Nov 2014 01:44:09 +0900

약 2년전 HMM 라이브러리를 공개한 적이 있습니다.

2년이 지난 지금도 많은 분들이 관련 내용에 대해서 문의를 주십니다.

또한 소스 요청도 종종 받고 있습니다. 이름, 소속 및 사용 용도를 메일로 보내주신 분에 한하여 소스를 드렸습니다.

2년이라는 시간이 흘렀지만 보잘것 없는 라이브러리를 지금도 찾아주셔서 감사하기도 하고 한편으로는 저 자신에게 부끄럽기도 합니다.

용기를 내어서 소스를 공개하고자 합니다.

사용법은 소스 내에 있는 toy example을 참고하시면 될 것 같습니다.

hmm_shineware_2.0.zip

또한 아래 페이지에서도 다운로드 가능합니다.

git : https://github.com/shin285/HMM

나름대로 안정화를 많이 시켰지만 부족한 부분이 많이 있습니다.

이와 관련하여 피드백을 주시면 반영하도록 하겠습니다. 감사합니다.

EN-POSTA ver 0.5 (자바 영어 형태소 분석기)

shine_ing — Thu, 6 Nov 2014 01:14:33 +0900

자바로 만든 영어 형태소 분석기를 공개합니다.

이름은 EN-POSTA (ENglish POS TAgger) 입니다.

자체 동작 테스트는 완료하였습니다.

아직 안정화 단계에 접어들기 위해선 많은 피드백들이 반영되어야 할 것으로 보입니다.

사용하시다가 불편하신 점이나 이상하다고 느껴지시는 부분에 대해서 알려주시면 바로 반영할 수 있도록 하겠습니다.

library

enposta-0.5.jar

data file

model_0.5.zip

기본적인 사용법은 아래와 같습니다.

public static void main(String[] args) throws Exception {

EnPosta posta = new EnPosta();

posta.load("model");

//사용자 사전 추가

posta.appendUserDic("dic.user");

posta.buildFailLink();

List<String> resultList = posta.analyze("Launch a new institute at the University of Washington to conduct independent, rigorous evaluations of health programs worldwide.");

for (String result : resultList) {

System.out.println(result);

}

객체 생성 후 data file 경로를 지정하여 분석기에서 사용될 데이터들을 로딩합니다.

사용자 사전을 추가할 경우에는 appendUserDic 메소드를 통해 사용자 사전 파일을 추가합니다.

load 및 appendUserDic 단계가 끝나면 반드시 buildFailLink 메소드를 실행해줘야 합니다.

사용사 사전의 구성은 아래와 같습니다.

■ 구조

◆ [단어]\t[품사]

◆ 시작 기호 '#'로 주석처리 가능

■ 예제

University of Washington NNP

위의 기본적인 사용법 예제와 같이 사용자 사전을 적용한 경우에는 아래와 같은 결과를 얻을 수 있습니다.

Launch/NNP

a/DT

new/JJ

institute/NN

at/IN

the/DT

University of Washington/NNP

to/TO

conduct/VB

independent/JJ

,/,

rigorous/JJ

evaluations/NNS

of/IN

health/NN

programs/NNS

worldwide/NN

./.

사용자 사전을 적용하지 않는 경우에는 아래와 같은 결과를 얻을 수 있습니다.

Launch/NNP

a/DT

new/JJ

institute/NN

at/IN

the/DT

University/NNP

of/IN

Washington/NNP

to/TO

conduct/VB

independent/JJ

,/,

rigorous/JJ

evaluations/NNS

of/IN

health/NN

programs/NNS

worldwide/NN

./.

기본적으로 HMM을 사용하였으며 기존 영어 품사 태거와의 가장 큰 차이점은 사용자 사전을 통해 여러 어절로 구성된 고유 명사를 하나로 묶을 수 있다는 점입니다. (KOMORAN 2.0이 갖고 있는 특징이기도 합니다)

word 단위 accuracy는 96.47% 이며, 초당 1.3MB 정도 처리 가능합니다. 단 넉넉한(?) 메모리를 필요로 합니다.

사용해보시고 피드백 많이 부탁드립니다. 감사합니다.

※ 문서가 너무 두서 없이 작성된 점에 대해서 죄송하다는 말씀을 드립니다. 안정화 시키는대로 최대한 빨리 다시 한번 위 내용을 정리하도록 하겠습니다.

KOMORAN ver 2.3 (자바 한국어 형태소 분석기)

shine_ing — Mon, 29 Sep 2014 20:46:42 +0900

KOMORAN 2.3

manual

komoran_2.0_manual.pdf

library

data file

주요 업데이트 내용

불규칙 사전 정제
models-full에 포함된 단어 중 오분석을 유발할 수 있는 단어 정제

버전 히스토리

[2.2]

불용 로그 제거
공백 미포함 형태소 분석 기능 추가

[2.1.2]

사용자 환경에 따른 용량별 데이터 제공
조사 결합 규칙 적용
연결 어미 품사 확장
기타 버그 수정

[2.1.1]

연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경
버그 수정 및 안정화

[2.1]

형태소 분석기 안정화 및 속도 개선

[2.0.4]

띄어쓰기 관련 버그 및 기타 안정화

[2.0.3]

사용자 사전 포맷 오류 수정

[2.0.1]

분석 중 에러가 발생하는 치명적 오류 수정

[2.0.0]

komoran 2.0 beta 최초 공개

[2.0.0] 미만

링크 참조 - history

자세한 사용법은 하기 링크를 참조하시기 바랍니다.

- 사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

- 데모 사이트

KOMORAN과 관련된 문의 사항은 ceo@shineware.co.kr로 연락주시기 바랍니다.

KOMORAN ver 2.2 (자바 한국어 형태소 분석기)

shine_ing — Fri, 12 Sep 2014 10:21:21 +0900

KOMORAN 2.2

library

data file (기존 2.1.2 버전과 동일)

주요 업데이트 내용

일부 문장 분석 시 특정 로그가 출력되는 현상 제거
형태소 분석 시 공백 포함/미포함 분석 기능 추가

공백 포함 분석(2.2 이전 버전과 동일한 메소드 사용)

sample code

String in="바람과 함께 사라지다를 봤어.";

List<List<Pair<String,String>>> analyzeResultList = komoran.analyze(in);

분석 결과

바람과 함께 사라지다/NNP+를/JKO
보/VV+았/EP+어/EF+./SF

공백 미포함 분석(2.2 버전 신규 메소드)

sample code

String in="바람과 함께 사라지다를 봤어.";
List<List<Pair<String,String>>> analyzeResultList = komoran.analyzeWithoutSpace(in);

분석 결과

바람/NNG+과/JC
함께/MAG
사라지/VV+다/EC+를/JKO
보/VV+았/EP+어/EF+./SF

버전 히스토리

[2.1.2]

사용자 환경에 따른 용량별 데이터 제공
조사 결합 규칙 적용
연결 어미 품사 확장
기타 버그 수정

[2.1.1]

연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경
버그 수정 및 안정화

[2.1]

형태소 분석기 안정화 및 속도 개선

[2.0.4]

띄어쓰기 관련 버그 및 기타 안정화

[2.0.3]

사용자 사전 포맷 오류 수정

[2.0.1]

분석 중 에러가 발생하는 치명적 오류 수정

[2.0.0]

komoran 2.0 beta 최초 공개

[2.0.0] 미만

링크 참조 - history

자세한 사용법은 하기 링크를 참조하시기 바랍니다.

- 사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

KOMORAN과 관련된 문의 사항은 ceo@shineware.co.kr로 연락주시기 바랍니다.

KOMORAN ver 2.1.2 (자바 한국어 형태소 분석기)

shine_ing — Tue, 26 Aug 2014 18:18:30 +0900

KOMORAN 2.1.2

library

data file

주요 업데이트 내용

사용자 환경에 따른 용량별 데이터 모델 제공

models-light

순수 학습 코퍼스만 사용
기존 버전의 데이터들과 같은 내용

models-full

위키피디아의 제목(타이틀)을 추가 학습
최소 메모리 1G 이상 필요

일부 특수 문자 NA로 태깅되는 문제 수정
조사 결합 규칙 적용

한글 특성에 따라 부적절한 조사가 오는 경우는 후보에서 제외

ver. 2.1.1 : 그을 -> 그/NP+을/JKO (대명사 + 목적격조사)
ver. 2.1.2 : 그을 -> 그을/VV(동사)

연결 어미 품사 확장

학습 코퍼스 부족으로 인해 연결 어미(EC)만 존재하고 종결 어미(EF)가 존재하지 않는 경우 종결 어미도 후보로 추가

ver 2.1.1 : 놔! -> 놔!/NA
ver 2.1.2 : 놔! -> 놓/VV+아/EF+!/SF

성능 향상

위 내용에 따른 전체적인 성능 향상

기호 및 숫자 등을 제외한 순수 한글 어절

어절 정확률 : 93.37% (변동 없음)
형태소 별 품사 정확률 : 95.60% -> 95.62%

기호 및 숫자 등을 포함한 전체 어절

어절 정확률 : 91.40% -> 91.59%
형태소 별 품사 정확률 : 94.60% -> 95.06%

버전 히스토리

[2.1.1]

연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경
버그 수정 및 안정화

[2.1]

형태소 분석기 안정화 및 속도 개선

[2.0.4]

띄어쓰기 관련 버그 및 기타 안정화

[2.0.3]

사용자 사전 포맷 오류 수정

[2.0.1]

분석 중 에러가 발생하는 치명적 오류 수정

[2.0.0]

komoran 2.0 beta 최초 공개

[2.0.0] 미만

링크 참조 - history

자세한 사용법은 하기 링크를 참조하시기 바랍니다.

- 사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

KOMORAN과 관련된 문의 사항은 ceo@shineware.co.kr로 연락주시기 바랍니다.

KOMORAN ver 2.1.1 (자바 한국어 형태소 분석기)

shine_ing — Mon, 18 Aug 2014 18:06:45 +0900

KOMORAN 2.1.1

library

data file

models.zip

주요 업데이트 내용

연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경

input : DATE
ver 2.1의 분석 결과 : D/SL+A/SL+T/SL+E/SL
ver 2.1.1의 분석 결과 : DATE/SL

일부 어절에 대해서 NA로 태깅되던 버그 수정

품사 태거 동작 시 사용되는 score 변경

데이터 정제로 인한 확률 모델 변경

일부 부적절한 사전/품사 정보 제거 ( ㅂ/NNG, ㅑ/NNG 등)

기타 조잡한 버그 수정 및 코드 정리

버전 히스토리

[2.1]

형태소 분석기 안정화 및 속도 개선

[2.0.4]

띄어쓰기 관련 버그 및 기타 안정화

[2.0.3]

사용자 사전 포맷 오류 수정

[2.0.1]

분석 중 에러가 발생하는 치명적 오류 수정

[2.0.0]

komoran 2.0 beta 최초 공개

[2.0.0] 미만

링크 참조 - history

자세한 사용법은 하기 링크를 참조하시기 바랍니다.

- 사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

KOMORAN과 관련된 문의 사항은 ceo@shineware.co.kr로 연락주시기 바랍니다.