[mecab-users 175] Re: コーパスからの学習について

Back to archive index

Taku Kudo taku****@chase*****
2006年 10月 22日 (日) 15:42:54 JST


工藤です

> 先日、OSをfedoraに変更してコーパスからの学習が正常にできるようになったと報告しましたが、また急に学習ができなくなりました。

確信はできませんが,メモリに不具合があるのかもしれません.

> 学習の途中で以下のようなエラーが発生し、処理がストップしてしまいます。
> またOSを変更してやってみようと思うので、工藤さんがMeCabを使用しているOSを教えてもらえないでしょうか?

Juman のモデルは,共同開発者(NTTの方)に頼んで作ってもらったので,
詳細はわかりません.Opteron x 4 の RedHat Enterprise だと記憶しています.
メモリは 64GB 積んでいました.非現実的な環境なので,
あまり参考にならないと思います.

開発環境は Debian GNU/Linux 3.1, Linux 2.6.8-3-688 です.
Windows 上の VMWare で動いています.

- taku

> *** glibc detected *** /home/nomoto/libexec/mecab/mecab-tool: co rrupted double-linked list: 0x0e353808 ***
> ======= Backtrace: =========
> /lib/libc.so.6[0xc26dd7]
> /lib/libc.so.6(__libc_free+0x79)[0xc2a41d]
> /usr/lib/libstdc++.so.6(_ZdlPv+0x21)[0x4022fe1]
> /home/nomoto/lib/libmecab.so.1(_ZN5MeCab20EncoderLearnerTagger4r eadERSiRSt6vectorIdSaIdEE+0x1398)[0x68ac18]
> /home/nomoto/lib/libmecab.so.1(_ZN5MeCab7Learner3runERNS_5ParamE PKcS4_+0xb25)[0x68c695]
> /home/nomoto/lib/libmecab.so.1(_ZN5MeCab4Tool5learnEv+0x5b1)[0x6 960c1]
> /home/nomoto/lib/libmecab.so.1(_ZN5MeCab4Tool3runEiPPc+0x20b)[0x 696a1b]
> /home/nomoto/lib/libmecab.so.1(mecab_tool+0xec)[0x696b6c]
> /home/nomoto/libexec/mecab/mecab-tool(__gxx_personality_v0+0x10e )[0x8048542]
> /lib/libc.so.6(__libc_start_main+0xdc)[0xbd87e4]
> /home/nomoto/libexec/mecab/mecab-tool(__gxx_personality_v0+0x5d) [0x8048491]
> ======= Memory map: ========
> 00336000-0034f000 r-xp 00000000 08:01 198582     /lib/ld-2.4.so
> 0034f000-00350000 r--p 00018000 08:01 198582     /lib/ld-2.4.so
> 00350000-00351000 rw-p 00019000 08:01 198582     /lib/ld-2.4.so
> 00650000-00762000 r-xp 00000000 08:02 1113281    /home/nomoto/li b/libmecab.so.1.0.0
> 00762000-00764000 rw-p 00111000 08:02 1113281    /home/nomoto/li b/libmecab.so.1.0.0
> 00bc3000-00cef000 r-xp 00000000 08:01 198585     /lib/libc-2.4.so
> 00cef000-00cf2000 r--p 0012b000 08:01 198585     /lib/libc-2.4.so
> 00cf2000-00cf3000 rw-p 0012e000 08:01 198585     /lib/libc-2.4.so
> 00cf3000-00cf6000 rw-p 00cf3000 00:00 0
> 00cf8000-00d1b000 r-xp 00000000 08:01 198587     /lib/libm-2.4.so
> 00d1b000-00d1c000 r--p 00022000 08:01 198587     /lib/libm-2.4.so
> 00d1c000-00d1d000 rw-p 00023000 08:01 198587     /lib/libm-2.4.so
> 00d3a000-00d4a000 r-xp 00000000 08:01 196226     /lib/libpthread-2.4.so
> 00d4a000-00d4b000 r--p 0000f000 08:01 196226     /lib/libpthread-2.4.so
> 00d4b000-00d4c000 rw-p 00010000 08:01 196226     /lib/libpthread-2.4.so
> 00d4c000-00d4e000 rw-p 00d4c000 00:00 0
> 00daf000-00db0000 r-xp 00daf000 00:00 0          [vdso]
> 00df1000-00dfc000 r-xp 00000000 08:01 198588     /lib/libgcc_s-4.1.0-20060304.so .1
> 00dfc000-00dfd000 rw-p 0000a000 08:01 198588     /lib/libgcc_s-4.1.0-20060304.so .1
> 03f6d000-0404f000 r-xp 00000000 08:01 1192365    /usr/lib/libstdc++.so.6.0.8
> 0404f000-04053000 r--p 000e2000 08:01 1192365    /usr/lib/libstdc++.so.6.0.8
> 04053000-04054000 rw-p 000e6000 08:01 1192365    /usr/lib/libstdc++.so.6.0.8
> 04054000-0405a000 rw-p 04054000 00:00 0
> 08048000-08049000 r-xp 00000000 08:02 1113291    /home/nomoto/li bexec/mecab/mecab-tool
> 08049000-0804a000 rw-p 00000000 08:02 1113291    /home/nomoto/li bexec/mecab/mecab-tool
> 09258000-0e394000 rw-p 09258000 00:00 0          [heap]
> 95500000-95521000 rw-p 95500000 00:00 0
> 95521000-95600000 ---p 95521000 00:00 0
> 95659000-ae294000 rw-p 95659000 00:00 0
> ae414000-b1d57000 rw-p ae414000 00:00 0
> b1d57000-b7fa2000 r--s 00000000 08:02 1178859    /home/nomoto/se ed/sys.dic
> b7fa2000-b7fe3000 r--s 00000000 08:02 1178857    /home/nomoto/se ed/char.bin
> b7fe3000-b7fe5000 rw-p b7fe3000 00:00 0
> b7fee000-b7ff0000 rw-p b7fee000 00:00 0
> b7ff0000-b7ff2000 r--s 00000000 08:02 1178858    /home/nomoto/se ed/unk.dic
> b7ff2000-b7ff3000 rw-p b7ff2000 00:00 0
> bfddd000-bfdf3000 rw-p bfddd000 00:00 0          [stack]
> _______________________________________________
> mecab-users mailing list
> mecab****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/mecab-users
>
>



mecab-users メーリングリストの案内
Back to archive index