OSDN Git Service

changed x-bias of black and that of white, in order to place the evaluation by the...
[shogi-server/shogi-server.git] / mk_rate
diff --git a/mk_rate b/mk_rate
index a8dda5a..dff3977 100755 (executable)
--- a/mk_rate
+++ b/mk_rate
@@ -1,55 +1,95 @@
 #!/usr/bin/ruby
-## $Id$
-
-## Copyright (C) 2006 Daigo Moriwaki <daigo at debian dot org>
-##
-## This program is free software; you can redistribute it and/or modify
-## it under the terms of the GNU General Public License as published by
-## the Free Software Foundation; either version 2 of the License, or
-## (at your option) any later version.
-##
-## This program is distributed in the hope that it will be useful,
-## but WITHOUT ANY WARRANTY; without even the implied warranty of
-## MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-## GNU General Public License for more details.
-##
-## You should have received a copy of the GNU General Public License
-## along with this program; if not, write to the Free Software
-## Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
-
-#
-# This calculates rating scores of every players from CSA files, and outputs a
-# yaml file (players.yaml) that Shogi Server can read.
-#
-# Sample:
-#   $ ./mk_rate . > players.yaml
+# $Id$
 #
-# The conditions that games and players are rated as following:
-#   * Rated games, which were played by both rated players.
-#   * Rated players, who logged in the server with a name followed by a trip:
-#     "name,trip".
-#   * (Rated) players, who played more than $GAMES_LIMIT [ten] (rated) games. 
+# Author:: Daigo Moriwaki
+# Homepage:: http://sourceforge.jp/projects/shogi-server/
+#
+#--
+# Copyright (C) 2006-2008 Daigo Moriwaki <daigo at debian dot org>
+#
+# This program is free software; you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 2 of the License, or
+# (at your option) any later version.
+#
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+#
+# You should have received a copy of the GNU General Public License
+# along with this program; if not, write to the Free Software
+# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+#++
+#
+# == Synopsis
+#
+# mk_rate reads CSA files, calculates rating scores of each player, and then
+# outputs a yaml file (players.yaml) that Shogi-server can recognize.
+#
+# == Usage
 #
+# ./mk_rate [options] DIR..
+# 
+# DIR::
+#   CSA files are recursively looked up the directories.
 #
-# PREREQUIRE
-# ==========
+# --half-life::
+#   n [days] (default 60)
+#   
+# --half-life-ignore::
+#   m [days] (default  7)
+#   after m days, the half-life effect works
 #
-# Sample Commands to isntall prerequires will work for Debian.
+# --fixed-rate-player::
+#   player whose rate is fixed at the rate
+#
+# --fixed-rate::
+#   rate 
+#
+# --help::
+#   show this message
+#
+# == PREREQUIRE
+#
+# Sample Command lines that isntall prerequires will work on Debian.
+#
+# * Ruby 1.8.7
+#
+#   $ sudo aptitude install ruby1.8
 #
 # * Rubygems
+#
 #   $ sudo aptitude install rubygems
 #
-# * Ruby bindings for the GNU Scientific Library (GSL)
+# * Ruby bindings for the GNU Scientific Library (GSL[http://rb-gsl.rubyforge.org/])
+#
 #   $ sudo aptitude install libgsl-ruby1.8
-#   Or, download it from  http://rb-gsl.rubyforge.org/ .
 #
-# * RGL: Ruby Graph Library
+# * RGL: {Ruby Graph Library}[http://rubyforge.org/projects/rgl/]
+#
 #   $ sudo gem install rgl
-#   Or, download it from http://rubyforge.org/projects/rgl/ .
+#
+# == Run
+#
+#   $ ./mk_rate . > players.yaml
+#
+# or, if you do not want the file to be update in case of errors, 
+#
+#   $ ./mk_rate . && ./mk_rate . > players.yaml
+#
+# == How players are rated
+#
+# The conditions that games and players are rated as following:
+#
+# * Rated games, which were played by both rated players.
+# * Rated players, who logged in the server with a name followed by a trip: "name,trip".
+# * (Rated) players, who played more than $GAMES_LIMIT [15] (rated) games. 
 #
 
 require 'yaml'
 require 'time'
+require 'getoptlong'
 require 'gsl'
 require 'rubygems'
 require 'rgl/adjacency'
@@ -60,7 +100,7 @@ require 'rgl/connected_components'
 #
 
 # Count out players who play less games than $GAMES_LIMIT
-$GAMES_LIMIT = $DEBUG ? 0 : 10
+$GAMES_LIMIT = $DEBUG ? 0 : 15
 WIN_MARK  = "win"
 LOSS_MARK = "lose"
 DRAW_MARK = "draw"
@@ -210,9 +250,9 @@ class Rating
   end
 
   ##
-  # The initial value of the rate, which is of very importance for Newton method.
-  # This is based on my huristics; the higher the win probablity of a player is, 
-  # the greater points he takes.
+  # The initial value of the rate, which is of very importance for Newton
+  # method.  This is based on my huristics; the higher the win probablity of
+  # a player is, the greater points he takes.
   #
   def initial_rate
     possibility = 
@@ -281,7 +321,8 @@ class Rating
       $stderr.puts "f: %s -> %f" % [f.to_a.inspect, f.nrm2] if $DEBUG
 
       # GSL::Linalg::LU.solve or GSL::Linalg::HH.solve would be available instead.
-      a = GSL::Linalg::SV.solve(j, f)
+      #a = GSL::Linalg::HH.solve(j, f)
+      a, = GSL::MultiFit::linear(j, f)
       a = self.class.average(a)
       # $stderr.puts "a: %s -> %f" % [a.to_a.inspect, a.nrm2] if $DEBUG
       
@@ -334,6 +375,13 @@ class Rating
   end
 
   ##
+  # Translate by value
+  #
+  def translate!(value)
+    @rate += value
+  end
+
+  ##
   # Make the values of @rate integer.
   #
   def integer!
@@ -368,7 +416,7 @@ class WinLossMatrix
     keys = players.keys.sort
     size = keys.size
     matrix =
-      Matrix::Int[*
+      GSL::Matrix[*
       ((0...size).collect do |k|
         p1 = keys[k]
         p1_hash = players[p1]
@@ -418,35 +466,38 @@ class WinLossMatrix
   end
 
   ##
-  # Removes a delete_index'th player and returns a new object.
+  # Removes players in a rows such as [1,3,5], and then returns a new
+  # object.
   #
-  def delete_row(delete_index)
+  def delete_rows(rows)
+    rows = rows.sort.reverse
+
     copied_cols = []
     (0...size).each do |i|
-      next if i == delete_index
-      row = @matrix.get_row(i)  # get_row returns a copy of the row
-      row.delete_at(delete_index)
+      next if rows.include?(i)
+      row = @matrix.row(i).clone
+      rows.each do |j|
+        row.delete_at(j)
+      end
       copied_cols << row
     end
-    new_matrix = Matrix::Int[*copied_cols]
-    new_keys = @keys.clone
-    new_keys.delete_at(delete_index)
-    return WinLossMatrix.new(new_keys, new_matrix)
-  end
+    if copied_cols.size == 0
+      new_matrix = GSL::Matrix.new
+    else
+      new_matrix = GSL::Matrix[*copied_cols]
+    end
 
-  ##
-  # Removes players in a rows; [1,3,5]
-  #
-  def delete_rows(rows)
-    obj = self
-    rows.sort.reverse.each do |index|
-      obj = obj.delete_row(index)
+    new_keys = @keys.clone
+    rows.each do |j|
+      new_keys.delete_at(j)
     end
-    obj
+
+    return WinLossMatrix.new(new_keys, new_matrix)
   end
 
   ##
-  # Removes players who do not pass a criteria to be rated, and returns a new object.
+  # Removes players who do not pass a criteria to be rated, and returns a
+  # new object.
   # 
   def filter
     $stderr.puts @keys.inspect if $DEBUG
@@ -497,7 +548,7 @@ class WinLossMatrix
 
     result = subsets.collect do |keys|
       matrix =
-        Matrix::Int[*
+        GSL::Matrix[*
         ((0...keys.size).collect do |k|
           p1 = @keys.index(keys[k])
           ((0...keys.size).collect do |j|
@@ -505,7 +556,7 @@ class WinLossMatrix
               0
             else
               p2 = @keys.index(keys[j])
-              @matrix[p1][p2]
+              @matrix[p1,p2]
             end
           end)
         end)]
@@ -528,11 +579,23 @@ end
 # Main methods
 #
 
-def _add_win_loss(winner, loser)
+# Half-life effect
+# After NHAFE_LIFE days value will get half.
+# 0.693 is constant, where exp(0.693) ~ 0.5
+def half_life(days)
+  if days < $options["half-life-ignore"]
+    return 1.0
+  else
+    Math::exp(-0.693/$options["half-life"]*(days-$options["half-life-ignore"]))
+  end
+end
+
+def _add_win_loss(winner, loser, time)
+  how_long_days = (Time.now - time)/(3600*24)
   $players[winner] ||= Hash.new { GSL::Vector[0,0] }
   $players[loser]  ||= Hash.new { GSL::Vector[0,0] }
-  $players[winner][loser] += GSL::Vector[1,0]
-  $players[loser][winner] += GSL::Vector[0,1]
+  $players[winner][loser] += GSL::Vector[1.0*half_life(how_long_days),0]
+  $players[loser][winner] += GSL::Vector[0,1.0*half_life(how_long_days)]
 end
 
 def _add_time(player, time)
@@ -541,9 +604,9 @@ end
 
 def add(black_mark, black_name, white_name, white_mark, time)
   if black_mark == WIN_MARK && white_mark == LOSS_MARK
-    _add_win_loss(black_name, white_name)
+    _add_win_loss(black_name, white_name, time)
   elsif black_mark == LOSS_MARK && white_mark == WIN_MARK
-    _add_win_loss(white_name, black_name)
+    _add_win_loss(white_name, black_name, time)
   elsif black_mark == DRAW_MARK && white_mark == DRAW_MARK
     return
   else
@@ -588,7 +651,8 @@ def grep(file)
     black_id, white_id = $1.split(":").map {|a| a.strip}
     black_id = identify_id(black_id)
     white_id = identify_id(white_id)
-    if black_id && white_id && (black_id != white_id)
+    if black_id && white_id && (black_id != white_id) &&
+       black_mark && white_mark
       add(black_mark, black_id, white_id, white_mark, time)
     end
   end
@@ -601,37 +665,151 @@ USAGE: #{$0} dir [...]
   exit 1
 end
 
+def validate(yaml)
+  yaml["players"].each do |group_key, group|
+    group.each do |player_key, player|
+      rate = player['rate']
+      next unless rate
+      if rate > 10000 || rate < -10000
+        return false
+      end
+    end
+  end
+  return true
+end
+
+def usage(io)
+    io.puts <<EOF
+USAGE: #{$0} [options] DIR..
+  DIR                where CSA files are looked up recursively
+OPTOINS:
+  --half-life         n [days] (default 60)
+  --half-life-ignore  m [days] (default  7)
+                      after m days, half-life effect works
+  --fixed-rate-player player whose rate is fixed at the rate
+  --fixed-rate        rate 
+  --help              show this message
+EOF
+end
+
 def main
-  usage if ARGV.empty?
-  while dir = ARGV.shift do
-    Dir.glob( File.join(dir, "**", "*.csa") ) {|f| grep(f)}
+  $options = Hash::new
+  parser = GetoptLong.new(
+    ["--half-life",         GetoptLong::REQUIRED_ARGUMENT],
+    ["--half-life-ignore",  GetoptLong::REQUIRED_ARGUMENT],
+    ["--help", "-h",        GetoptLong::NO_ARGUMENT],
+    ["--fixed-rate-player", GetoptLong::REQUIRED_ARGUMENT],
+    ["--fixed-rate",        GetoptLong::REQUIRED_ARGUMENT])
+  parser.quiet = true
+  begin
+    parser.each_option do |name, arg|
+      name.sub!(/^--/, '')
+      $options[name] = arg.dup
+    end
+    if ( $options["fixed-rate-player"] && !$options["fixed-rate"]) ||
+       (!$options["fixed-rate-player"] &&  $options["fixed-rate"]) ||
+       ( $options["fixed-rate-player"] &&  $options["fixed-rate"].to_i <= 0) 
+      usage($stderr)
+      exit 1
+    end
+  rescue
+    usage($stderr)
+    raise parser.error_message
+  end
+  if $options["help"]
+    usage($stdout) 
+    exit 0
+  end
+  $options["half-life"] ||= 60
+  $options["half-life"] = $options["half-life"].to_i
+  $options["half-life-ignore"] ||= 7
+  $options["half-life-ignore"] = $options["half-life-ignore"].to_i
+  $options["fixed-rate"] = $options["fixed-rate"].to_i if $options["fixed-rate"]
+
+  if ARGV.empty?
+    while line = $stdin.gets do
+      next unless %r!.*\.csa$! =~ line
+      grep line.strip
+    end
+  else
+    while dir = ARGV.shift do
+      Dir.glob( File.join(dir, "**", "*.csa") ) {|f| grep(f)}
+    end
   end
 
-  obj = WinLossMatrix::mk_win_loss_matrix($players)
   yaml = {} 
   yaml["players"] = {}
   rating_group = 0
-  obj.connected_subsets.each do |win_loss_matrix|
-    yaml["players"][rating_group] = {}
-
-    rating = Rating.new(win_loss_matrix.matrix)
-    rating.rating
-    rating.average!(Rating::AVERAGE_RATE)
-    rating.integer!
-
-    win_loss_matrix.keys.each_with_index do |p, i| # player_id, index#
-      win  = win_loss_matrix.matrix.row(i).sum
-      loss = win_loss_matrix.matrix.col(i).sum
-
-      yaml["players"][rating_group][p] = 
-        { 'name' => p.split("+")[0],
-          'rating_group' => rating_group,
-          'rate' => rating.rate[i],
-          'last_modified' => $players_time[p].dup,
-          'win'  => win,
-          'loss' => loss}
+  if $players.size > 0
+    obj = WinLossMatrix::mk_win_loss_matrix($players)
+    obj.connected_subsets.each do |win_loss_matrix|
+      yaml["players"][rating_group] = {}
+
+      rating = Rating.new(win_loss_matrix.matrix)
+      rating.rating
+      rating.average!(Rating::AVERAGE_RATE)
+      rating.integer!
+
+      if $options["fixed-rate-player"]
+        # first, try exact match
+        index = win_loss_matrix.keys.index($options["fixed-rate-player"])
+        # second, try regular match
+        unless index
+          win_loss_matrix.keys.each_with_index do |p, i|
+            if %r!#{$options["fixed-rate-player"]}! =~ p
+              index = i
+            end
+          end
+        end
+        if index
+          the_rate = rating.rate[index]
+          rating.translate!($options["fixed-rate"] - the_rate)
+        end
+      end
+
+      win_loss_matrix.keys.each_with_index do |p, i| # player_id, index#
+        win  = win_loss_matrix.matrix.row(i).sum
+        loss = win_loss_matrix.matrix.col(i).sum
+
+        yaml["players"][rating_group][p] = 
+          { 'name' => p.split("+")[0],
+            'rating_group' => rating_group,
+            'rate' => rating.rate[i],
+            'last_modified' => $players_time[p].dup,
+            'win'  => win,
+            'loss' => loss}
+      end
+      rating_group += 1
+    end
+  end
+  rating_group -= 1
+  non_rated_group = 999 # large enough
+  yaml["players"][non_rated_group] = {}
+  $players.each_key do |id|
+    # skip players who have already been rated
+    found = false
+    (0..rating_group).each do |i|
+       found = true if yaml["players"][i][id]
+       break if found
     end
-    rating_group += 1
+    next if found
+
+    v = GSL::Vector[0, 0]
+    $players[id].each_value {|value| v += value}
+    next if v[0] < 1 && v[1] < 1
+
+    yaml["players"][non_rated_group][id] =
+      { 'name' => id.split("+")[0],
+        'rating_group' => non_rated_group,
+        'rate' => 0,
+        'last_modified' => $players_time[id].dup,
+        'win'  => v[0],
+        'loss' => v[1]}
+  end
+  unless validate(yaml)
+    $stderr.puts "Aborted. It did not result in valid ratings."
+    $stderr.puts yaml.to_yaml if $DEBUG
+    exit 10
   end
   puts yaml.to_yaml
 end