ongaeshi
ongae****@gmail*****
2014年 3月 16日 (日) 02:34:28 JST
おんがえしです。 肥大化の再現テストしてみました、Milkodeを使ってテストしています。 テスト環境 https://github.com/ongaeshi/groonga-broated-test テスト方法 1. 新しいデータベースを作成 2. ruby-2.1.1をデータベースに追加(milk add) 3. ruby-2.1.1に対してランダムに、1000ファイル程、更新(80%)、追加(10%)、削除(10%)を行う 4. データベースを更新(milk update) 5. 3.と4.を30回程繰り返しながらデータベースサイズを計測 Groongaのバージョン確認方法 $ irb $ require 'groonga' $ Groonga.version "4.0.0-71-g2713786" <- を確認 テスト結果 データベースサイズの単位はMB 4.0.0 が通常版 4.0.0-71-g2713786 が改良版その1 4.0.0-93-ga3ba959 が改良版その2 https://gist.github.com/ongaeshi/9563867#file-result-csv テスト結果のグラフ 須藤さんのデータと同じように序盤のデータベースサイズは改良版その1の方が 大きいですが、後半になると改良版の方が小さくなっていきました。 http://twitpic.com/dyetlq/full 考察 改良版その1はいい感じでした！ 改良版その2ですが、4.0.0に対して追加、削除などは出来たようなのですが、 4.0.0と同じ結果になってしまったのが気になっています。 何か実験の仕方が悪かったのかもしれません。 書き換えるレコードの数を増やした方がよい データベースの更新回数を増やした方がよい ファイルの操作割合を調整した方がよい そもそもライブラリのインストールに失敗していないか？ などありましたら、アドバイスもらえるとありがたいです。 2014年3月9日 19:18 ongaeshi <ongae****@gmail*****>: > おんがえしです。 > おおー、それはありがたいです！ > > こちらでもMilkodeを使って検証テストしてみようと思います。 > ※ ただいま仮想環境を準備中です・・。 > > > 2014年3月9日 11:06 Kouhei Sutou <kou****@clear*****>: >> 須藤です。 >> >> In <CA+vp****@mail*****> >> "[groonga-dev,02185] Re: データベース肥大化に悩むみなさんへテストのお願い" on Sun, 9 Mar 2014 00:22:30 +0900, >> ongaeshi <ongae****@gmail*****> wrote: >> >>> 見当違いだったら申し訳ないのですが、 >>> 最近Milkodeユーザーの方から以下のようなバグ報告がありました。 >>> >>> データベースの容量が肥大化する >>> https://github.com/ongaeshi/milkode/issues/62 >>> >>> 削除→追加を繰り返すとデータベースサイズが増加するようです。 >>> この問題も上記のパッチと関連がありそうだと考えられるでしょうか？ >> >> はい！関係あると思います！ >> サイズが64KiB未満のテキストデータはこの改善案で肥大化が抑え >> られるはずです！Milkodeで扱うデータはテキストファイルで、ほ >> とんど64KiB未満だと思うのでかなり効果が期待できる気がします。 >> >> >> -- >> 須藤 功平 <kou****@clear*****> >> 株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270) >> >> Groongaサポート: >> http://groonga.org/ja/support/ >> パッチ採用はじめました: >> http://www.clear-code.com/recruitment/ >> コミットへのコメントサービスはじめました: >> http://www.clear-code.com/services/commit-comment.html >> >> _______________________________________________ >> groonga-dev mailing list >> groon****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/groonga-dev > > > > -- > /****************************************** > ongaeshi > MAIL: ongae****@gmail***** > WEB: http://ongaeshi.me > Twitter: http://twitter.com/ongaeshi > ******************************************/ -- /****************************************** ongaeshi MAIL: ongae****@gmail***** WEB: http://ongaeshi.me Twitter: http://twitter.com/ongaeshi ******************************************/
