BLOG main image
분류 전체보기 (46)
Life (4)
Computer Science (3)
Programming (6)
Opensource (6)
Project (17)
Tip (10)
artikel terbaru. berita tekno..
artikel terbaru. berita tekno..
Best way to develop a mobile a..
Best way to develop a mobile a..
120,547 Visitors up to today!
Today 44 hit, Yesterday 69 hit
daisy rss
tistory 티스토리 가입하기!
2014.11.24 02:49

KOMORAN 2.4




  • 주요 업데이트 내용
    • 불규칙 사전 정제
    • 형태소 분석 시 n-best 분석 결과 제공 기능 추가
      • sample code
        • String in = "바람과 함께 사라지다를 봤어.";

          int nbest = 2;

          List<List<List<Pair<String,String>>>> analyzeNbestResult = komoran.analyze(in,nbest);

      • 분석 결과
        • best 1
          • 바람과 함께 사라지다/NNP+/JKO

            /VV+/EP+/EF+./SF

        • best 2
          • 바람과 함께 사라지다/NNP+/JKO

            /VX+/EP+/EF+./SF

      • 기타
        • 어절 단위 n-best 형태소 분석은 분석 대상 문장을 공백 단위로 tokenize하여 어절 단위로 입력
    • 불규칙 사전 빌드 및 처리 방식 변경에 따른 성능 개선
      • 기호 및 숫자 등을 제외한 순수 한글 어절
        • 어절 정확률 : 93.37% -> 93.60%
        • 형태소 별 품사 정확률 : 95.62% -> 95.88%
      • 기호 및 숫자 등을 포함한 전체 어절
        • 어절 정확률 : 91.59% -> 92.12%
        • 형태소 별 품사 정확률 : 95.06% -> 95.36%

  • 버전 히스토리
    • [2.3]
      • 학습 데이터 정제
    • [2.2]
      • 불용 로그 제거
      • 공백 미포함 형태소 분석 기능 추가
    • [2.1.2]
      • 사용자 환경에 따른 용량별 데이터 제공
      • 조사 결합 규칙 적용
      • 연결 어미 품사 확장
      • 기타 버그 수정
    • [2.1.1]
      • 연속된 영어(SL), 숫자(SN), 한자(SH)에 대한 분석 결과 변경
      • 버그 수정 및 안정화
    • [2.1]
      • 형태소 분석기 안정화 및 속도 개선
    • [2.0.4]
      • 띄어쓰기 관련 버그 및 기타 안정화
    • [2.0.3]
      • 사용자 사전 포맷 오류 수정
    • [2.0.1]
      • 분석 중 에러가 발생하는 치명적 오류 수정
    • [2.0.0]
      • komoran 2.0 beta 최초 공개
    • [2.0.0] 미만

    자세한 사용법은 하기 링크 또는 첨부된 메뉴얼을 참조하시기 바랍니다.

    사용법 (글 제목 : KOMORAN ver 2.0.4 beta (자바 한국어 형태소 분석기))

    데모 사이트



저작자 표시 비영리 변경 금지
신고
권순재 | 2014.11.28 11:51 신고 | PERMALINK | EDIT/DEL | REPLY
에러리포트 입니다.
잘생기다 를 형태소 분석하니 아래와 같이 나오네요.
잘 MAG
생기 VV
그런데 국어사전에 '잘생기다'라는 단어가 있는걸 보아 잘생기다 VV 가 되어야 할 것 같습니다.
또 대한독립의 형태소 분석이
대하 VV
독립 NNG
이렇게 나타납니다. 아무리봐도 대한을 대하 VV와 어미 ㄴ으로 나누어서 형태소 분석을 하는 듯 합니다.
언제나 코모란 열심히 쓰고 있습니다. 감사합니다.
shine_ing | 2014.11.28 11:55 신고 | PERMALINK | EDIT/DEL
리포팅 감사합니다!
근데 제가 2.4 ver 기준으로 '잘생기다'를 테스트해보니
'잘생기/VA+다/EC' 로 나오네요.
대한독립의 경우에는 오분석인 것을 확인하였습니다.
관련 항목 참조하여 차기 업데이트에 반영하도록 하겠습니다! 진심으로 감사드립니다!
글로리 | 2015.03.11 17:57 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요!
궁금한 점이 있어서요!!^^
models학습을 HMM을 처리하셨다고하는데요 SVM이나 다른 모델로 변경할려면~
어떻게 해야하는지요?
models 디렉토리에 4개의 파일이 있습니다만~ 규칙이나 방법이나 자료가 있으시면 링크를 좀 부탁합니다
shine_ing | 2015.03.11 19:21 신고 | PERMALINK | EDIT/DEL
안녕하세요. 반갑습니다.
먼저 HMM을 이용해서 models를 생성한 것이여서, SVM을 활용하시려면 거의 새로 만드는 수준이 되야할 것 같습니다 ^^;;
코모란은 속도 향상을 위해서 형태소 분리와 동시에 HMM을 통과시키기 때문에 말씀하신 SVM을 활용하기에는 조금 어려울 것 같습니다 ㅠㅠ
글로리 | 2015.03.12 00:24 신고 | PERMALINK | EDIT/DEL | REPLY
빠른 답변 및 오픈소스에 대해서 감사합니다^^
학생이라 공부하는 재미가 쏠쏠합니당 ㅜㅜ. 관련 분야가 아니라 의지만 ㅜㅜ
그런데요 dic,irregular, dic.word, grammer,in에 대해서 간단한 설명을 부탁합니다.
이 부분을 이해하면 CRF++, SVM 등을 적용해서 간단하게 테스트를 할 수 있을 듯합니다만

shine_ing | 2015.03.30 17:45 신고 | PERMALINK | EDIT/DEL
안녕하세요. 답변이 많이 늦어졌습니다. 죄송합니다 ㅠㅠ
간략히 설명드리자면,
dic.irregular (불규칙 변환 규칙과 관련된 정보를 포함)
dic.word (형태소에 대한 품사 정보를 포함)
grammar (품사 간 결합 규칙 정보를 포함)
이런식으로 구성되어 있습니다.
말씀하신 CRF++나 SVM은 feature를 어떻게 쓸 것인지에 따라 입력될 내용이 많이 달라질 것으로 생각됩니다^^;;
김영 | 2015.03.13 17:26 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요~^^
1.에러 리포트입니다.
부여했다 -> 부여/NNG + 하/XSV+았/EP+다/EF로 나옵니다.

2. 사용하시는 사전이 세종말뭉치 사전인가요?
일반 세종말뭉치 사전에서는 빈도가 나오지 않습니다. 어떻게 빈도를 넣었죠잉??

언제나 코모란 재미나게 사용하고 있습니다. 감사요
shine_ing | 2015.03.30 17:47 신고 | PERMALINK | EDIT/DEL
안녕하세요. 답변이 많이 늦어져서 죄송합니다.
먼저 에러리포트 감사드립니다! 추후 버전에서 관련 내용을 포함시켜 꼭 개선시키겠습니다!
사용하고 있는 말뭉치는 세종 말뭉치입니다. 빈도수는 말뭉치에서 나오는 단어의 빈도수를 직접 세서 만들었습니다 ^^
감사합니다!
쓰레드 | 2015.06.02 15:32 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요, 오류가 있어서 문의드립니다.
제가 한글형태소 분석을 쓰레드를 이용하여 하려고 하는데요... 잘 안되네요 ^^
NullPointerException도 나고 ConcurrentModificationException 에러도 나고요...
쓰레드를 이용할순 없는건가요???

shine_ing | 2015.06.03 00:56 신고 | PERMALINK | EDIT/DEL
analyze에 synchronized 를 거시면 됩니다.
값진인생 | 2015.06.16 09:44 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요. KOMORAN을 R에서 한국어 텍스트 마이닝(문서 군집과 분류)에 사용하고 싶습니다.
테스트 해 보니 KOMORAN 라이브러리가 R에서도 잘 실행되지만, 색인어를 추출하는 함수가 없어 아쉽습니다. 명사를 품사정보 없이 단어만 문자열 배열(또는 리스트)로 리턴하는 함수가 있었으면 좋겠습니다.

그리고 사용자 사전을 시스템 사전과 중복이 없도록 DB로 관리하려 하는데요. 시스템 사전에 어떤 단어가 등록되어 있는지 알 수 있는 방법이 있을까요?

좋은 자료를 공유해 주셔서 감사합니다.
shine_ing | 2015.06.16 14:14 신고 | PERMALINK | EDIT/DEL
안녕하세요. 먼저 말씀하신 것처럼 색인어만을 추출하는 함수에 대한 개발이 예정되어 있습니다.
사용자 사전과 시스템 사전 간의 중복 문제는 고민을 조금 많이 해봐야할 것 같습니다. 시스템 사전에 "다음"이라는 단어와 사용자 사전에 "다음"이라는 단어는 서로 다른 방식으로 동작합니다. 사용자 사전에 우선순위가 매우 높기 때문에 시스템 사전에 단어가 있더라도 추가적으로 사용자 사전에 넣는 경우도 많이 있거든요. 이 부분에 대해서는 어떤식으로 적용할지 고민을 많이 해보겠습니다.
피드백 주셔서 감사합니다. :)
값진인생 | 2015.06.17 18:13 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요. 개발이 예정되어 있다니 다음 버전이 기다려지네요 ^^
우선은 결과에서 명사만 추출하는 로직을 추가해서 테스트를 진행하고 있습니다.
그런데 사용자 사전에 추가한 단어가 적용이 되지 않네요.
예제에 있는 것처럼
Komoran 생성 -> setUserDic("사용자 사전 파일") -> analyze("문장")
순으로 실행했는데, 사용자 사전에 추가한 "보건복지부"가 "보건" "복지부"로 분석됩니다. 또한 공백이 포함된 단어도 분석되지 않고요. R에서 테스트를 하다보니 소스를 올려도 도움이 안될 것 같네요. 혹시 필요하시면 댓글 달아 주세요. 감사합니다.
==========================
수정> 사용자 사전 파일 인코딩을 UTF-8로 했다고 생각했는데, 다시 확인해 보니 CP949로 되어 있었네요. 인코딩 변경 후 잘 되네요 ^^
지구민 | 2016.01.22 14:03 신고 | PERMALINK | EDIT/DEL | REPLY
안녕하세요. 저기 뭐좀 물어보려고 하는데요
혹시 1.6으로 재컴파일 해서 사용가능할까요?
가능하다면
https://github.com/shineware/komoran-2.0
여기 공개한 소스를 그대로 사용해도 되는건지요?
Name
Password
Homepage
Secret