(ぼた雪)

ずうっと以前に、namazu-dev の初めの方の メール をごっそり持って来て、mknmz する時間を測って見る という話題があって、( namazu-ring/1417 ) その tar.gz 形式のものがなくなって しまったなぁと思っていたが、 ftp://ftp.namazu.org/namazu/ml/namazu-dev.tar.gz にあるということに気が付く。( 1808 通。以前の 1549 より増えている。) ~/.mknmzrc は空にしておいて、 やって見ると、

> time mknmz --mailnews -a -O index-tmp namazu-dev

[基本]
日付:                Sat Jan 27 18:06:10 2001
追加された文書の数:  1,808
大きさ (bytes):      3,514,226
合計の文書数:        1,808
追加鍵語数:          47,281
合計鍵語数:          47,281
わかち書き:          module_kakasi -ieuc -oeuc -w
経過時間 (秒):       158
譜/秒:               11.44
系:                  netbsd
Perl:                5.006
Namazu:              2.0.5

121.101u 11.720s 2:41.18 82.4%  0+0k 2731+1037io 102pf+0w

正しく索引が作られているかは、例えば、

makoto@nazuha ■20:21:49/010127(/tmp)> namazu '生成 展開' index-tmp
検索結果

参考一致数:  [ 生成: 16 ]  [ 展開: 31 ] 

検索式に一致する 1 編の文書が見つかりました。

1. [namazu-dev 133] Re: word splitting tools (点数): 13)
著者: Hajime BABA <baba@kusastro.kyoto-u.ac.jp>
日付: Wed, 18 Aug 1999 20:55:27 +0900

お、そうでしたか... :-) あ、いえ、たぶんそうではなくて、Makefile.am で 
make install のhook として make dict をする(mkkanwa する)ようにしてい
たのですが、 make dict するためには kakasidict を展開して
/tmp/namazu-dev/133 (2,909 bytes)


現在の一覧: 1 - 1

として見る
以前の 1.9.14 の時の情報も書いて見ると (今回は + を付けている)

                                                 File/Sec
+ PowerPC 603e       240M  96MB  NetBSD-1.5K         4.66      藤
  Pentium MMX        266M  64MB  Plamo Linux 1.3     5.38      高 
  Mobile Celelon     366M  64MB  Windows 98 2nd Ed   8.20      山
      PA-8000        180M 768MB  HP-UX B.10.20       6.54 (ja) 島
+ PowerPC 7400       366M  64M   NetBSD-1.5K        11.44      藤
  Celeron            500M 256MB  Red Hat Linux 6.1  12.70      高
  4 x Ultra SPARC II 400M 512MB  Solarils 2.7       13.35 (ja) 島
  Pentium II         450M 384MB  FreeBSD 3.2        13.95      す
  Celeron            500M 256MB  FreeBSD 3.4        15.81      高
  2 x PA-8500        440M 1G     HP-UX B.10.20      19.12 (ja) 島
  4 x Ultra SPARC II 400M 512MB  Solarils 2.7       20.65 (ja) 島

僕の場合は
出力先を NFS にすると、とても遅くなる 11.44 -> 3.62

 time mknmz --mailnews -a -O /home6/index-tmp namazu-dev

[基本]
日付:                Sat Jan 27 18:31:49 2001
追加された文書の数:  1,808
大きさ (bytes):      3,514,226
合計の文書数:        1,808
追加鍵語数:          47,281
合計鍵語数:          47,281
わかち書き:          module_kakasi -ieuc -oeuc -w
経過時間 (秒):       500
譜/秒:               3.62
系:                  netbsd
Perl:                5.006
Namazu:              2.0.5

127.514u 22.714s 8:23.28 29.8%  0+0k 2598+441io 21pf+0w

2001/01/22#1 からの続き

• namazu-ring/940
• namazu-dev 1999/12/15 size が 0 のものがあると
• 譜の名前に改行が入っていた
  ( namazu の ML 保存は multipart をきちんと binary にしている。えらい。 何を使っているのだろう..)
  さて以前は
  sort NMZ.r | uniq -c | sort -nr | head -3
  とやって見ているので、同じことを試す

  makoto@harry ■15:13:58/010127(...namazu/Mail)> sort NMZ.r | uniq -c | sort -nr | head -10
    11 
     2 /amd/ki.nu./export/home/makoto/Mail/from/myself/1472
     2 /amd/ki.nu./export/home/makoto/Mail/from/myself/1471
     2 /amd/ki.nu./export/home/makoto/Mail/from/myself/1470
     2 /amd/ki.nu./export/home/makoto/Mail/from/myself/1469
     2 /amd/ki.nu./export/home/makoto/Mail/from/myself/1468
     2 /amd/ki.nu./export/home/makoto/Mail/from-log
     2 # /amd/ki.nu./export/home/makoto/Mail/from-log
     1 /amd/ki.nu./export/home/makoto/Mail/webcount/1124
     1 /amd/ki.nu./export/home/makoto/Mail/webcount/1123
  

  11 の部分が空白なのは何故 ? 2 のものがいくつもある ? 中身が同じものが他にある ?
  問題:
  (更新時に)同じ名前で中身が違うものがあった場合
  • find file では重複を取除かないが
  • 更新時には同じ名前なので除いてしまう
  (と書いたものの意味が良く分らない)
  (通常、譜の中身を更新するというのは良くあることで、 その場合と同じだから、この理解は変)
  そう言えば

  @array = grep { } @array ;
  

  というのを一度も書いたことがない。しかも、

  @flist = grep {$mark{$_}++; $mark{$_} == 1 } @flist;
  

  の意味が (すぐには) 分らなかったが
  == 1 の時、つまり一回現われたものだけ返すということで、 単に重複を除いているだけ。
  いまの mknmz の論理は
  • findfile して @flist を作る
  • 上に書いてあるようにして重複を取除く
  • 更新作業時にも重複しているものは取除く
  上で重複しているメールは

  -rw-------  1 makoto  operator  3002 Jan 13 22:49 /home/makoto/Mail/from/myself/1468
  -rw-------  1 makoto  operator  1808 Jan 13 23:26 /home/makoto/Mail/from/myself/1469
  -rw-------  1 makoto  operator  3410 Jan 14 16:37 /home/makoto/Mail/from/myself/1470
  -rw-------  1 makoto  operator  3435 Jan 14 17:38 /home/makoto/Mail/from/myself/1471
  -rw-------  1 makoto  operator  1746 Jan 14 18:09 /home/makoto/Mail/from/myself/1472
  

  となっているので、時間軸で言うと

  メール到着
  1/15 日 mknmz
  1/18 日 mknmz
  1/19 日 mknmz ( NMZ.r and NMZ.t are inconsistent)
  

  となっていて、「索引を作った時のうち二回前に」に読んでいるはずのもの

  [Append]
  Date:                Mon Jan 15 20:26:35 2001
  Added Documents:     52,750
  Size (bytes):        157,647,335
  Total Documents:     115,013
  Added Keywords:      615,953
  Total Keywords:      1,860,912
  Wakati:              module_chasen -j -F '%m '
  Time (sec):          55,076
  File/Sec:            0.96
  System:              netbsd
  Perl:                5.006
  Namazu:              2.0.5
  
  [Append]
  Date:                Thu Jan 18 04:02:45 2001
  Added Documents:     38,756
  Size (bytes):        110,504,046
  Total Documents:     153,769
  Added Keywords:      437,576
  Total Keywords:      2,298,488
  Wakati:              module_chasen -j -F '%m '
  Time (sec):          82,375
  File/Sec:            0.47
  System:              netbsd
  Perl:                5.006
  Namazu:              2.0.5
  

  1/18 日に作ったはずの索引がいまあるので、試しに 1468 番のメール中の文字列で検索すると、確かにそれが二通見つかる。
  まさかと思うが、それは ML に投稿したもので、中身の(かなり同じ) ものが別の path に入っている。そのせいか。 Message-ID で重複を除くしくみは入っていたっけ ?
  1469 (の中身)は一通しかないものなので、それは関係なさそう。
  これだけのことをまた namazu-users-ja に書くのも面倒 :-)
  誰かこれを読んで解決してくれないかな ?

http://citrus.bsdclub.org/index-en.html