'komoran 3.0' 태그의 글 목록

« 2017/08 »
일	월	화	수	목	금	토
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

'komoran 3.0'에 해당되는 글 1건

KOMORAN 3.0 beta (25) | 2016.05.12

KOMORAN 3.0 beta

2016.05.12 02:00

[Project/Library]

KOMORAN 3.0에 대한 안정성 및 피드백을 받기 위해서 베타 버전을 공개합니다.

2.0 대비 주요 변화는 아래와 같습니다.

속도 개선

KOMORAN 2.0 : 초당 0.4MB 분석 (MB/sec)
KOMORAN 3.0 : 초당 1.0MB 분석 (MB/sec)

기능 추가

형태소 분석 결과로 입력 문장 내 형태소 위치 정보 제공
형태소 분석 결과 중 명사 추출 기능 제공
형태소 분석 결과를 plain text로 제공
training 모듈 추가 (직접 training/tuning 하실 수 있습니다!!!!)

gradle 적용
wiki title을 사전에 적용

기존의 자료 구조를 trie에서 aho-corasick으로 변경하여 속도를 개선하였습니다. (aho-corasick을 찾는데까지 오래 걸림...ㅠㅠ)

또한 lucene 기반의 analyzer에서 쉽게 적용할 수 있도록 분석 결과 token의 position 정보를 제공합니다. (개선해야 될 부분이 많습니다...ㅠ)

아직 KOMORAN 2.0처럼 많이 부족합니다.

그러나 KOMORAN 2.0 처럼 많이 사용해주시고 많은 피드백을 주신다면 감사드리겠습니다. (_ _)

사용법 및 소스는 아래 링크에서 확인하실 수 있습니다.

https://github.com/shin285/KOMORAN

덧, 있어보이려고 github repository에 badge를 2개나 붙였으나....개발 능력 부족으로 인해 coverage가 매우 낮지만....동작에는 문제가 없습니다..ㅠㅠ

'Project > Library' 카테고리의 다른 글

KOMORAN 3.0 beta (25)	2016.05.12
KOMORAN ver 2.4 for python3 (8)	2014.12.26
KOMORAN 2.x 라이센스 변경 공지 (42)	2014.12.08
KOMORAN ver 2.4 (자바 한국어 형태소 분석기) (14)	2014.11.24
EN-POSTA ver 0.5 (자바 영어 형태소 분석기) (8)	2014.11.06
KOMORAN ver 2.3 (자바 한국어 형태소 분석기) (16)	2014.09.29

Hmm, KOMORAN, komoran 3.0, Korean POS Tagger, NLP, shineware, 샤인웨어, 자바 형태소 분석기, 자연어처리, 코모란, 형태소 분석기

Trackback0 : Comment25

코랄칼슘 | 2016.05.16 21:51 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요!! 코모란 잘 쓰고 있습니다.
에러리포트요!
싸이/VV+는/ETM 가수/NNG+다/JX
가수 싸이는 항상 VV로 나오네요 ㅠㅠ

shine_ing | 2016.05.18 11:40 신고 | PERMALINK | EDIT/DEL

싸이가 사전에는 있지만 싸이/VV가 확률이 더 높게 나와서 생기는 현상이네요. 학습 데이터를 도메인에 맞게 수정하는 방법 밖에는 없을 것 같습니다만...어떻게 하면 도메인에 맞게 자동으로 확률 값을 수정할 수 있게 할지 계속 고민하고 있겠습니다~ 피드백 감사드립니다 :)

김간지 | 2016.05.26 18:07 신고 | PERMALINK | EDIT/DEL | REPLY

회사에서 써보려고 하는데 3.0 beta 버전 혹시 상업적 이용불가 인가요???

shine_ing | 2016.05.26 18:09 신고 | PERMALINK | EDIT/DEL

아파치 라이센스여서 사용하셔도 무방합니다만, 아직 beta여서 안정성이 조금 떨어질 수 있습니다 :)

mjxaone | 2016.06.18 01:29 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요.
개인적으로 검색엔진의 기초부분을 작업하고 싶어서
형태소 분석기를 찾던도중 KOMORAN을 보게 되었습니다.
조만간 열심히 사용하고, 많은 요청(?) 하겠습니다.
좋은 자료 감사합니다.
:D

개발개발 | 2016.08.13 18:23 신고 | PERMALINK | EDIT/DEL | REPLY

"바이든 부통령, 포로셴코과 대통령과 크림 사태 논의 통화" 라는 String 값으로 돌리는데요 ㅠㅠ
java.lang.NullPointerException 이 뜨네요...
바이든 부통령 이라는 단어 때문인거 같은데 해결법좀 알려주세요. ㅠ
그리고 그 포로셴코와 같은 단어는 명사 결과로 안나오는데 어떻게 해야하죠??

해보니 2.4버전에서는 되는데요 혹시 2.4버전에서 3.0버전의 analyzeResultList.getNouns() 같은게 있나요??

shine_ing | 2016.08.18 01:31 신고 | PERMALINK | EDIT/DEL

개인적인 사정 때문에 답변이 많이 늦어졌네요. 죄송합니다 ㅠㅠ말씀해주신 소중한 피드백으로 아주 치명적인 버그를 찾아냈습니다. 진심으로 감사드립니다. 방금 릴리즈한 최신 버전에서는 해결되었습니다. 번거로우시겠지만 앞으로도 피드백 부탁드립니다!
덧, 포로셴코와 같은 단어는 사용자 사전에 추가하시면 됩니다 :)
최신 버전 링크 : https://github.com/shin285/KOMORAN/releases/tag/3.0.2

카일로 | 2016.10.04 04:07 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요.
예전에 띄어쓰기 무시한 사전은 아직 3.0에 들어가지 않았나요?

예를들어
바람과 함께 사라지다 이거가 사용자 사전에 있을 경우

바람과함께사라지다
바람과 함께사라지다
바람과함께 사라지다

등등이 2.4에는 고유명사로 잘 분류 되었던것 같습니다. (제 착각일 수도 있어 보입니다만..)

shine_ing | 2016.10.04 09:08 신고 | PERMALINK | EDIT/DEL

해당기능은 따로 제공하지 않습니다~ 물론 가능한 조합만들어서 사전에 넣으시면 원하시는 분석 결과를 얻으실 수 있습니다~

kwon | 2016.12.08 17:47 신고 | PERMALINK | EDIT/DEL | REPLY

komoran3.0 사용을 위해 테스트 하고 있습니다.
동작은 잘 하는데 특정 글자에서 java.lang.NullPointerException 에러가 발생하고 있습니다.
테스트한 글자는 '센', '센트롤이' 두가지 이구요 '센트롤' 이라고 하면 에러없이 정상작동 합니다.
KomoranResult.java 에서 Second 에 셋팅되지 않아서 에러가 나는것 같습니다.
if(jasoBeginIdx >= syllableAreaList.get(i).getSecond()){
syllableAreaPair.setSecond(i+1);
}

좀 더 추척해봤지만 소스 전체를 다 이해하지 못해서 어떻게 수정해야할지를 모르겠습니다~~
도움 부탁드려요~

shine_ing | 2016.12.09 11:14 신고 | PERMALINK | EDIT/DEL

리포팅 감사드립니다. 이슈는 확인을 하였습니다. 최대한 빠른 시일 내로 fix하도록 하겠습니다. 감사합니다.

LEE | 2017.03.20 13:09 신고 | PERMALINK | EDIT/DEL

안녕하세요
혹시 위 이슈 사항이 수정이 되었나요?

수정 되었으면
관련파일을 받을수 있는 곳을 알려주셨으면 합니다.

감사합니다

shine_ing | 2017.03.20 13:10 신고 | PERMALINK | EDIT/DEL

네 수정하였습니다~깃헙에서 클론 받으시면 적용되어 있습니다^^

Freeman | 2017.03.02 17:21 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요. 코모란을 잘 사용하고 있습니다.
테스트로 Thread를 적용해 보니, 아래와 같은 오류가 발생하네요....

코모란 라이브러리 Thread 적용해서 수행이 가능한지 궁금합니다.....

java.util.ConcurrentModificationException
at java.util.HashMap$HashIterator.nextNode(HashMap.java:1429)
at java.util.HashMap$KeyIterator.next(HashMap.java:1453)
at kr.co.shineware.nlp.komoran.core.analyzer.Komoran.regularParsing(Komoran.java:641)
at kr.co.shineware.nlp.komoran.core.analyzer.Komoran.analyze(Komoran.java:295)

shine_ing | 2017.03.02 17:24 신고 | PERMALINK | EDIT/DEL

2.x 버전을 쓰신다면 anayle 메소드에 synchronized를 붙여주셔야 합니다. 3.x버전은 thread safe 합니다~ 혹시 어떤 버전을 사용하고 계신지요?

hyon86 | 2017.03.24 15:28 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요. 코모란 3.0을 사용해 보고 있습니다.

kr.co.shineware.nlp.komoran.core.Komoran.java
아래 메서드 여러 스레드에서 동시 접근 해도 문제가 없는지 문의 드립니다.
public KomoranResult analyze(String sentence) <= 해당 메서드가 thread safety 한지?

shine_ing | 2017.03.24 15:31 신고 | PERMALINK | EDIT/DEL

아마 문제없을 것 같습니다~ 해보시고 댓글부탁드릴게요~

PDK | 2017.03.28 15:47 신고 | PERMALINK | EDIT/DEL | REPLY

복합어 분석이 가능한 코모란 3.0을 파이썬에서 사용하고 싶은데, 어떻게 안 될까요...

shine_ing | 2017.03.30 11:07 신고 | PERMALINK | EDIT/DEL

댓글이 늦어졌네요. 복합어 분석이 가능하다는 말씀이 사과나무 -> 사과+나무 이런 형태를 말씀하시는 건가요? 일단 해당 내용을 한번 고민해보겠습니다! 쉽지 않은 문제여서요.. 그리고 3.0을 파이썬에서 사용할 수 있도록 빠른 시간 내에 작업하겠습니다!

STEVE | 2017.07.03 15:24 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요. 코모란3.0을 git에서 받아 코드 분석하면서 스터디 중입니다.
빌드 하면서 코드를 하나씩 쫓아가다 보니 AhoCorasickDictionary<> 부분은 코드를 열어볼 수 없는데, 알고리즘 구현 후 별도로 관리되는 부분인지요?
그리고 models_full 리소스 안의 model 파일은 어떻게 만들어진 것인지 문의 드려도 될까요?
아무것도 모르고 코드만 쫓아서 보려다 보니 바로 막히는 것이 있어 문의 드립니다.
답변이 힘드신 내용이라면, 궃이 답신 없으셔도 됩니다.
잘 보고 있으며, 코드 공개해 주신점 정말 감사합니다.

shine_ing | 2017.07.03 17:11 신고 | PERMALINK | EDIT/DEL

안녕하세요. Ahocorasick 부분은 https://github.com/shineware/aho-corasick 에 구현되어 있습니다.

models_full 부분은 ModelBuilder라는 클래스를 찾아서 보시면 어떻게 바이너리 파일이 만들어졌는지 확인하실 수 있습니다.

관련되서 문의 사항이 있으시면 언제든지 문의부탁드립니다! 감사합니다.

LSH | 2017.07.11 19:47 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요 KOMORAN 3.0 유용하게 잘 사용하고 있습니다.
관련해서 여쭤보고 싶은것이 있는데 2.4버전에서 지원하던
n-best 분석결과는 3.0에서 지원하지 않는지 여쭤보고 싶습니다.
또한 analzeTextfile 을 이용할 때 inputfilename에 들어가는 textfile의 경로를
어디에 위치해야하는지도 궁금합니다.
바쁘시겠지만 답변 부탁드리겠습니다. 감사합니다!

shine_ing | 2017.07.15 01:18 신고 | PERMALINK | EDIT/DEL

댓글이 늦었습니다. 죄송합니다.
3.0 버전에서는 현재 n-best 결과를 지원하지 않고 있습니다. 추후 버전에 n-best 결과를 지원할 수 있도록 하겠습니다. 더불어 analyzeTextfile을 이용하실 때 경로는 원하시는 곳에 파일을 위치시킨 후 그 파일의 경로를 inputfilename으로 지정해주시면 됩니다. 감사합니다.

LSH | 2017.07.31 16:34 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요 친절한 답변 감사드립니다.
다름이 아니라 현재 코모란 3.0 beta 버전의 정확성이 대략 어느정도인지를 알 수 있을까요?
그리고 training과 tunning 의 개념이 무엇인지 궁금합니다.

LSH | 2017.08.03 21:59 신고 | PERMALINK | EDIT/DEL | REPLY

안녕하세요 위 내용에 추가적으로 질문 드리고 싶어 글 남깁니다.

komoran 2.4버전의 analyze(String src,int nbest) 함수를 이용하게 되면 input 문장이 "하늘을 나는 오리" 이면
하늘을 에 대한 n-best의 형태소 분석 결과와 나는 에 대한 n-best의 형태소 분석 결과, 오리 에 대한 n-best의 형태소 분석 결과의 조합을 만들어 준다고 생각을 했는데 하늘을 과 나는 에 대한 형태소 분석 결과는 같고 오리 에 대한 형태소 분석 결과만 다르게 출력이 됩니다.

각각의 어절들의 다양한 형태소 분석 결과를 얻을 수는 없을까요?

Name
Password
Homepage

Secret

'Project > Library' 카테고리의 다른 글

티스토리 툴바