To. Me

파이썬 2.x에서 태스트해봤는데 잘 동작합니다.. 공개해주셔서 갑사합니다~

안녕하세요^^ 혹시 루씬용 분석기는 개발 중이신지요?

검색하면서 타고타고 들어오다보니 좋은곳을 발견!

더 충격적인 사실은 D사의 입사동기였다는 ㅋㅋ

잘쓸게요~ㅋㅋㅋ

KoNLPy의 komoran을 잘 쓰고 있습니다. 늘 감사드립니다.

KoNLPy에서 사용자 사전을 추가하고, 이를 바탕으로 분석하도록 설정하려면 어떻게 해야 하는지 궁금합니다.

이와 관련된 python script를 어떻게 해야 하는지 알려주시면 진심으로 감사하겠습니다.

대왕박수를 드립니다. 짝짝짝 감사합니다.

정말정말 감사합니다!! 미약하지만 코드에 도움이 되어보도록 노력하겠습니다!!!!

안녕하세요?
프로그램을 오픈소스로 만들어 주셔서 감사합니다.
다름이 아니라 제가 이 코드를 사용하여 간단한 앱을 만들고 있는데,
메모리 이슈 및 로딩 시간이 많이 걸리는 이슈가 있어 리펙토링 / 튜닝을 하려는데
shineware-common-2.0.jar 및 shineware-ds-1.0.jar 라이브러리 소스가 없으면 거의 손을 댈 수가 없는 상황이네요.
혹시 두개의 추가 라이브러리를 오픈할 계획은 없으신지 조심스럽게 여쭤 봅니다. ^^;

감사합니다

안녕하세요.
git을 이클립스에서 받아서 실행시켜 보려 했는데,,, 도무지 방법을 모르겠습니다.
KOMORAN_2.0_beta 를 import 시킨 후, 다음 과정이 어떻게 되나요??

우와~!
지금 자바소스 분석하는중인데 감탄밖에 안나와네요~
(이 많은걸 해내셨다는점과 이걸 공개하기로 결심했다는 점에서)

또 NLP를 공부하는 학생입장으로서 이렇게 좋은 학습예제를 쉽게 공개해 주신점에서
매우 감사합니다!

지금 JAVA는 처음보는거라서 여러가지 해매가며
해당 코드 내용들을 C#으로 재코딩하고 있는데
몇가지 궁금한점이 있네요.

제가 이해하기론 입력받은 문장을 형태소 단위로 분리해서
사전에서 찾아가며 모든 가능한 경우의 수를 추출하고 ("감기는"을 "감", "기", "감기", "는")
여기에 미리 학습시켜논 HMM을 이용해 가장 확률이 높은 형태소를 출력하는걸로 알고있습니다만.....

이 사전데이터는 어디서 구하셨나요?
아직 완전히 파악한건 아니지만 각 형태소별로 "이게 무슨 형태소이다!" 라는 정보까지 저장되있는게
50MB넘게 있는걸로 보이는데 (Trie구조 썼다해도 상당히 많은양의 데이터라 생각됩니다만...)
아무리 찾아봐도 이정도로 양질의 데이터는 않보이네요......

특히 HMM학습시킨 데이터의경우 제 생각엔 문장단위로 모든 형태소를 나눠놓은 데이터들도 엄청많이 필요할꺼 같은데 이걸 직접하셨다면...... 감탄사밖에 안나오네요..... (대단하십니다.....)

또 한가지 궁금한것은
NF
NV
NA
이 세가지는 어떻게 추측하는건가요? 이것도 학습데이터로 구현한건가요?

그나저나 티스토리는 댓글 수정을 못하네요........
(잘못썼는데 지우지못하는 흑역사....)
(어색한 표현은 분위기로 넘어갑시다!)
(비밀번호는 맞게 썼는데 내부 오류라면서 안지워지네요....)

으아아아..... 코드분석이 너무 힘듭니다..... 일단 제가 이해한대로 정리해볼테니 틀린거 있으면 좀 알려주세요!
(현재 코드를 그대로 구현하기보다는 코드를 이해한뒤 더 간단하게 C#코드를 짜는방법으로 가고있습니다.)

1. 모든 사전 (불규칙, 일반(Observation), PosID테이블, 전이 확률 상수들) 로딩
2. (analyze함수 기준) 입력받은 문장을 "사용자사전, 비한국어, 불규칙 확장, 일반,불규칙"순으로 검색해 Lattice에다가 저장(단 저장하면서 함수에 확률값의 합도 같이 저장)(불규칙 확장파싱은 중간에 Transition에서의 정보를 활용하던데 이게 어떤의미를 가지는지 모르겠네요.)
3. Lattice에서 가장 확률이 높은 집합을 출력

일단 제가 이해한것은 여기까지 입니다.
그리고 불규칙 확장에 대해서는 완전히 이해한것 같지 않네요.....

"가버리" 라는 단어가 포함하는 정보는 2가지로
ㅂㅓㄹㅣ 42 42 -6.172016302802016 {ㄱㅏ 42} {ㅇㅏ 2} {ㅂㅓㄹㅣ 42} ㄱㅏ/VX ㅇㅏ/EC ㅂㅓㄹㅣ
ㅂㅓㄹㅣ 38 42 -6.092817879878462 {ㄱㅏ 38} {ㅇㅏ 2} {ㅂㅓㄹㅣ 42} ㄱㅏ/VV ㅇㅏ/EC ㅂㅓㄹㅣ
(lastMorph firstPosId lastPosId innerScore irrNodeTokens{fisrt, second} morphFormat 순서)
입니다. 제 추측으론 순서대로
"어미", "어간의 문장성분", "어미의 문장성분", "이 단어의 확률상수", {이 단어를 쪼갠 성분들}, 출력 편하게 할려고 미리 구성한것들?
인데 맞나요?

여기까지중에 제가 잘못알고있는게 있다면 지적좀 해주세요.... (사실 보고도 햇갈리는 상황....)
그리고 불규칙확장파싱?(irregularExpandParsing)와 불규칙파싱(irregularParsing)의 차이점좀 알려주세요...
(불규칙확장파싱은 observation 사전 가지고 탐색하던데 정작 무얼하는지는 짐작이 안가네요....)


참고로 현재 진행상황은 이제서야 사전데이터 입력및 저장을 마친상태입니다.....
라이트버전 기준으로 램은 40메가정도 먹고 로딩시간은 제 노트북 기준 6초정도 되네요.
오리지널버전에 비해선 둔하지만 데이터를 통째로 저장해놓은것이 아닌 눈에보기 좋은 형태로 저장한걸 불러오는거라 시간걸리는건 감수할려고 합니다. (위의 "가버리"를 저런형태로 저장시켜놨습니다. 원본은 1메가도 안되는데 변환하니 5메가가 조금 넘어가네요 ㅎㅎ) (참고로 위는 싱글스레드 기준이고 불러올때 멀티스레드도 지원하는데 스레드 4개정도로 하면 2초정도로 오리지널 반응속도랑 비슷합니다.)(참고로 별로 의도한건 아니지만 C#의 멀티스레드함수가 JAVA보다 간단하고 확장성이 좋더군요. 단어 분석할때 멀티스레드로 진행 가능할것 같습니다.)

으.... 점점 일상이 다가와지면서 이걸 끝내기가 힘들어지네요 ㅎㅎ.....

일단 현재 Lattice를나 사전검색이나 기존의 Komoran을 따라가지 않고 저만의 방식으로 새롭게 구현해버렸습니다 ㅎㅎ.... 그래도 최종적으로 확률계산하는건 같으니 이경우 결과적으로 하는작업은 같지만 목적을 향해 가는 길이 다른형태가 되버린거 같네요.
(사실 Lattice의 구조나 기존 함수가 정확히 어떻게 작동하는지 이해못해서 이렇게 된거지만요....ㅎ)

그래도 어찌어찌 저만의 Lattice에 불규칙 활용된 문장이나 일반 명사같은 모든 경우의 수를 넣고 사전에 단어가 있는경우 Komoran과 똑같은 출력물을 내놓는것에는 성공했습니다만....

사전에 없는 단어의 경우 아주 결과를 내놓지를 못하고
"가나다라마바사아자차카차"같은경우 Komoran은 바로 답을 내놓는 반면 제꺼는 모든 경우의수를 생각하느라 거의 시간단위로걸리는 문제점도 있네요.....

쩝..... 열심히 노력하고 있습니다만 확실히 어렵네요.

그래서 염치를 불구하고 몇가지 질문좀 하겠습니다.......(komoran 코드분석은 이미 한계인것 같습니다....)
1. 띄어쓰기는 어떻게 처리하나요? 기분석사전이나 사용자사전은 미리 탐색해서 빼버린다 치고 나머지는 단어단위로 형태소를 분석하는건가요? (제가 테스트해본것중 띄어쓰기를 해서 문장단위로 분석시킨거랑 어절단위로 분석시킨거랑 차이가 없어보이기는 합니다만 혹시나해서 질문합니다.)
2. "가나다라마바사아자차카차"의경우 모든 경우의수를 생각하지 않고 대부분은 고려조차하지 않는것 같은데 그 판단기준이 무엇인가요? (저도 속도좀 늘리고싶네요ㅎㅎ)
3. 마지막으로 "NF NV NA" 이 세가지는 어떻게 알아내나요?

짧은 글로 바로 설명할수있는 범주가 아니란건 어느정도 예상됩니다만.....
그래도 이 세가지는 좀 알고싶네요.

설명해주시기 곤란하시다면 영감을 받게된 논문이나 알고리즘정도만이라도 좀 소개해주세요.
이부분에서 꽉막혀서 더이상 진행을 못하고있네요 ㅠㅜ
(역시 대단하네요..... 이런 딜레마들을 뚫고 형태소 분석기들을 만드신분들이 존경스러워집니다.)

소스 잘보겠습니다. 갑사합니다.
정말 마음가지심도 대단하신것같습니다.

안녕하세요 코모란을 알고 이용해보고 있습니다. 코모란을 이용해서 대학교 졸업 프로젝트를 하고 있는데요. 사용하던 도중에 oracle같은 dbms에 넣어서 활용할수 있는 방법이 있을지 한번 여쭤보고 싶습니다. observation.model 파일로 그안에서 위키에서 추출한 데이터를 탐색하는 걸로 알고있는데 이를 컴파일해보니 시간이 오래걸려서 혹시 차라리 dbms안에 observation.model 내부 데이터를 넣어서 활용하면 빨라지지 않을까 해서 여쭤보게 되었습니다. 답변 해주시면 감사합니다

공개 감사합니다.
재난관련 빅데이터 논문중 형태소 분석이 필요했는데 잘 쓰도록 하겠습니다

안녕하세요. 라이센스에 관련해서 문의드릴 사항이 있습니다.
라이센스가 아파치 2.0으로 변경 이후 기존에 있던 3년미만 10명이하 사업장에게만 무료 공개 조항은 그대로 인가요?