Sistema MECA pre-evaluación de Elo en aceleraciones

Novedades, preguntas, bugs, tunning

Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor meca » 13 Mar 2013 00:04

pic2rs.gif
pic2rs.gif (51.44 KiB) Visto 3857 veces
Avatar de Usuario
meca
Administrador del Sitio
Administrador del Sitio
 
Mensajes: 1632
Registrado: 11 Ene 2013 01:03
Ubicación: Valencia (SPAIN)

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Jorge L Valdes » 13 Mar 2013 00:13

Muy Bueno! :good:
Avatar de Usuario
Jorge L Valdes
Gurú
Gurú
 
Mensajes: 2752
Registrado: 14 Ene 2013 14:00
Ubicación: Miami FL USA.

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Oliver » 13 Mar 2013 13:10

meca escribió:
pic2rs.gif


uhm... ¿subir 5 mhz inplicaría subir 166 puntos elo?

Voy a ver si me pueden cambiar el "cuarzo" a mi, que ya se como ganarme la vida ... ;-)
Avatar de Usuario
Oliver
Senior
Senior
 
Mensajes: 88
Registrado: 24 Ene 2013 07:44

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Javier Ros » 13 Mar 2013 17:12

Oliver escribió:
meca escribió:
pic2rs.gif


uhm... ¿subir 5 mhz inplicaría subir 166 puntos elo?

Voy a ver si me pueden cambiar el "cuarzo" a mi, que ya se como ganarme la vida ... ;-)


Multiplicar por 5 la velocidad implicaría subir 166 puntos ELO.

Para preevaluar el ELO la fórmula de Meca me parece perfecta. :good:

La ganancia real depende del programa y del ritmo de juego, ya que a mayor tiempo de reflexión la ganancia de Elo se va haciendo menor.

Sobre este tema se ha investigado y escrito bastante. Un hecho que llama la atención y que he leído en los enlaces que adjunto más abajo, es que mientras que en los programas de hace 15 ó 20 años la ganancia era de 60-70 puntos, la ganancia en los programas actuales es mayor, hecho debido probablemente a las técnicas de programación avanzadas que han aumentado la fuerza de juego de forma considerable y han disminuido el factor de ramificación. Esto hace que los programas profundicen mucho más.

Por ejemplo podemos apreciar el efecto disminución de esta ganancia de Elo para el programa Komodo de Larry Kaufman y Don Dailei, viendo los resultados obtenidos por Kai Laskos

From 0.5s/move to 1s/move (bullet) +107 Elo points
From 1s/move to 2s/move +93 Elo points
From 2s/move to 4s/move (blitz) +81 Elo points

que aparecen en

http://talkchess.com/forum/viewtopic.php?t=46370

También están los experimentos del maestro Schroder con Prodeo sobre ganancia de Elo al aumentar un ply, que es diferente a la ganancia al duplicar velocidad pero tiene relación, ver

http://www.top-5000.nl/ply.htm

Sobre ganancia de Elo al aumentar un ply también está el experimento de Jesús Muñoz con el programa Quazar 0.4, ver

http://www.talkchess.com/forum/viewtopic.php?t=44889

La lista completa de enlaces está aquí :shok2:

http://chessprogramming.wikispaces.com/Depth
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
 
Mensajes: 526
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Oliver » 14 Mar 2013 22:09

Interesante...
Avatar de Usuario
Oliver
Senior
Senior
 
Mensajes: 88
Registrado: 24 Ene 2013 07:44

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor PEPE » 14 Mar 2013 23:04

Javier Ros escribió:Multiplicar por 5 la velocidad implicaría subir 166 puntos ELO


¿De donde sale la cifra de x5= 166 Elo? de toda la la vida un factor x3 se le ha añadido unos +70 Elo, por lo tanto un factor x5= 115 Elo, incluso programas tan potentes como Hiarcs 13 tienen un factor de potencia Elo menos optimistas como se puede ver aquí: http://www.hiarcs.com/prev-prod/PC13/pc ... strongerMP

Si hablamos de los Microprocesadores no todos ofrenden el mismo rendimiento, recuerdo como programas como Rebel tenían excelentes resultados en equipos basados en AMD mientras que en Intel el programa perdía fuerza al tener menos Cache, hay muchos más ejemplos aplicables tanto a maquinas modernas ( que hacen uso de los 64 Bits, MMX, SS4.2... ) como ha Micros Dedicados, de cualquier manera x5= 166 Elo es un aumento Elo totalmente desproporcionado, en los Micros Dedicados los aumentos Elo aumentando el factor de velocidad es incluso inferior al rendimiento aplicado a los PC, podríamos poner el ejemplo de ChessTiger 2009 usando la plataforma Drangonball que es un Chip 68000 y( Micros Dedicados ) que ni en el mejor de sus sueños llegaría ni de lejos a aumentar los 166 Elo que marca el factor x5

*Palm Tiger 2009 Tung C 400 MHz= 2237 Elo
*Chess Tiger 14.9 Palm m515 16MB 42MHz= 2102 Elo
ChessTiger factor x9.5 Velocidad y el incremento de fuerza es de tan solo= 135 Elo

Imagen

Podríamos hablar también de Palm ChessGenius con el motor Roma que tampoco llega ni de lejos a x5= 166 Elo

Últimamente estoy estudiando a fondo la potencia de juego en las plataformas Palm con Micros 68000 y ARM con varios programas fuertes ( ChessGenius, ChessTiger...) que es lo más parecido a los micros dedicados y ni de lejos se cumple x5= 166 Elo si queréis más ejemplos los puedo dar...

Saludos...
Avatar de Usuario
PEPE
novato
novato
 
Mensajes: 11
Registrado: 17 Ene 2013 23:15

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor meca » 15 Mar 2013 00:08

Bueno, la verdad es que no tengo ni idea sobre esas plataformas y programas como cambian su Elo.
En máquinas dedicadas ya comentábamos en el anterior foro que no existía una gráfica única universal, que cada máquina tenía su propia curva, por lo que es imposible dar una fórmula única.
La fórmula propuesta es una mera aproximación a algunas observaciones realizadas y para Blitz y que según se vayan realizando pruebas con máquinas aceleradas corrriendo en el Resurrection, emulador Mess y cambios de cuarzos (tunning) la podremos afinar. Sigamos trabajando en la lista Elo Blitz y más adelante ya propondremos una nueva curva de ajuste Blitz, pero hace falta tiempo ... y eso que Jorge trabaja mucho en todo tipo de torneos !! :#32:
Avatar de Usuario
meca
Administrador del Sitio
Administrador del Sitio
 
Mensajes: 1632
Registrado: 11 Ene 2013 01:03
Ubicación: Valencia (SPAIN)

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Javier Ros » 16 Mar 2013 11:28

PEPE escribió:¿De donde sale la cifra de x5= 166 Elo? de toda la la vida un factor x3 se le ha añadido unos +70 Elo, por lo tanto un factor x5= 115 Elo, incluso programas tan potentes como Hiarcs 13 tienen un factor de potencia Elo menos optimistas como se puede ver aquí: http://www.hiarcs.com/prev-prod/PC13/pc ... strongerMP


En primer lugar, comentar que el enlace a Hiarcs 13 se refiere al multiproceso con varios núcleos y es otro problema más complicado que el aumento de velocidad 2x, 4x, 5x que estamos tratando aquí.

En segundo lugar, decir que la cifra 166 sale de la experimentación, porque como muy bien dice Meca, cada micro/programa tiene su curva que también depende del ritmo de juego base sobre el que se realice la aceleración 2x, 4x, 5x, etc, y que la curva propuesta es una aproximación que se acerca al comportamiento típico de la mayoría de los micros/programas.

Como comenté en mi mensaje anterior de este hilo, son muchos experimentos realizados los que confirman esta curva presentada por MECA. Repito algunos resultados. La ganancia de Elo para el programa Komodo 5 de Larry Kaufman y Don Dailei, según los resultados obtenidos por Kai Laskos

Ganancia de 0.5s/move a 1s/move (bullet) +107 Elo points
Ganancia 1s/move a 2s/move +93 Elo points, por tanto la ganancia multiplicando por 4 es la suma 107+93=200
Ganancia 2s/move a 4s/move (blitz) +81 Elo points, por tanto la ganancia multiplicando por 8 es la suma 107+93+81=281.

Esto ya dice que la ganancia 5x sería mayor que 200.

Uno de los experimentos más completos es el de los creadores de Komodo, con enfrentamientos con Houdini 1.5:

http://komodochess.com/pub/scale.html

donde basándose en el nivel 00 con Elo fijado en 1000 para Komodo (para poder establecer las diferencias fácilmente) con control de tiempo de Fischer de 3 segundos para la partida + 0.05 segundos por jugada, se va duplicando el tiempo de reflexión, nivel 01 es 6 segundos+ 0.1 segundos y así sucesivamente, jugaron miles de partidas y obtuvieron la tabla siguiente

Rank Name Elo + - games score oppo. draws
1 kom-07 1886.7 40.0 40.0 294 70.4% 1754.8 40.8%
2 hou-07 1857.2 39.8 39.8 294 64.5% 1760.6 37.8%
3 kom-06 1790.4 13.5 13.5 2617 68.7% 1662.7 39.0%
4 hou-06 1770.2 13.7 13.7 2616 64.5% 1666.5 32.5%
5 kom-05 1687.8 11.5 11.5 3618 59.5% 1618.0 38.5%
6 hou-05 1670.3 11.8 11.8 3617 56.5% 1620.4 30.9%
7 kom-04 1579.1 10.7 10.7 4500 52.5% 1556.8 33.9%
8 hou-04 1556.8 10.9 10.9 4500 49.5% 1559.2 27.9%
9 kom-03 1455.2 10.9 10.9 4500 51.9% 1434.2 31.8%
10 hou-03 1444.3 11.1 11.1 4500 50.6% 1435.4 25.7%
11 kom-02 1320.9 11.2 11.2 4500 51.6% 1301.3 28.5%
12 hou-02 1315.1 11.4 11.4 4500 50.9% 1301.9 22.9%
13 hou-01 1174.9 12.7 12.7 3500 41.3% 1246.0 24.0%
14 kom-01 1158.9 12.6 12.6 3500 38.6% 1248.3 28.4%
15 hou-00 1027.4 15.4 15.4 2500 28.9% 1194.0 20.5%
16 kom-00 1000.0 15.7 15.7 2500 24.6% 1199.4 22.6%

Por ejemplo, al duplicar desde el nivel 00 al nivel 01, Komodo gana 158.9 puntos Elo después de 3500 partidas con un margen de error de 12.6 puntos hacia arriba o hacia abajo, es decir, la ganancia estaría en una horquilla entre 146.3 y 171.5. Por otro lado, Houdini del nivel 00 al 01 gana 1174.9-1027.4=147.5 con margen de error de 12.7.
Si nos vamos al nivel 06 de Komodo con Elo 1790.4 y duplicamos, obtenemos el Komodo 07 con Elo 1886.7, esta vez la ganancia es 1886.7-1790.4=96.3 es mucho menor que la inicial lo que explica que la curva propuesta por Meca se aplana al aumentar mucho la velocidad. Viendo en detalle estos resultados hay que decir que la curva propuesta es más conservadora que lo que estos experimentos con programas de PC reflejan y a mí me sigue pareciendo perfecta para los micros dedicados.

PEPE escribió:de cualquier manera x5= 166 Elo es un aumento Elo totalmente desproporcionado, en los Micros Dedicados los aumentos Elo aumentando el factor de velocidad es incluso inferior al rendimiento aplicado a los PC


Para ver si esto es cierto estoy realizando el siguiente experimento con Gideon 3.1, programa campeón en Madrid 1992, implementado en Mephisto RISC II (mejor ejemplo de micro dedicado no hay) y que gracias a la generosidad de Schröder se puede descargar de su página y funciona en cualquier PC. El experimento consiste en jugar 400 partidas Gideon 3.1 nivel 5 minutos + 5 segundos contra Gideon 3.1 nivel 1 minuto + 1 segundo, lo mismo con Stockfish 2.3.1.
Además 800 partidas más con Gideon 3.1 nivel 1 minuto + 1 segundo contra Gideon 3.1 nivel 1 minuto/5= 12 segundos + 1/5=0.2 segundos y lo mismo para Stockfish.
Con esto veremos la ganancia 5x en ambos programas a dos niveles diferentes de juego. Los matches se juegan en paralelo usando cada uno un núcleo de dos Q6600 overclockeados a 2.8 GHz. siguiendo el método del maestro Schröder que ya he empleado en otros experimentos, ver

http://foro.meca-web.es/viewtopic.php?f=19&t=57

Los resultados obtenidos hasta el momento (el experimento no ha terminado) son

Stockfish 2.3.1 nivel 5 minutos + 5 segundos contra Stockfish 2.3.1 nivel 1 minuto + 1 segundo tras 249 partidas jugadas
+125 =121 -4 lo que arroja una diferencia de Elo de 177 con margen de error +34 -34

Gideon 3.1 nivel 5 minutos + 5 segundos contra Gideon 3.1 nivel 1 minuto + 1 segundo tras 276 partidas
+170 =80 -26 lo que arroja una diferencia de Elo de 201 el margen de error no lo tengo calculado pero debe ser menor de 34

Gideon 3.1 nivel 1 minuto + 1 segundo contra Gideon 3.1 nivel 1 minuto/5= 12 segundos + 1/5=0.2 segundos tras 540 partidas jugadas
+310 =162 -68 lo que arroja una diferencia de Elo de 168 con margen de error +24 -24

Stockfish 2.3.1 nivel 1 minuto + 1 segundo contra Stockfish 2.3.1 nivel 1 minuto/5= 12 segundos + 1/5=0.2 segundos tras 330 partidas jugadas
+230 =98 -2 lo que arroja una diferencia de Elo de 295 margen de error no calculado

Al final del experimento tendré todos los márgenes de error y publicaré todas las partidas.
Como vemos la cifra 166 para un aumento 5x no es nada disparatada.

PEPE escribió:podríamos poner el ejemplo de ChessTiger 2009 usando la plataforma Drangonball que es un Chip 68000 y( Micros Dedicados ) que ni en el mejor de sus sueños llegaría ni de lejos a aumentar los 166 Elo que marca el factor x5

*Palm Tiger 2009 Tung C 400 MHz= 2237 Elo
*Chess Tiger 14.9 Palm m515 16MB 42MHz= 2102 Elo
ChessTiger factor x9.5 Velocidad y el incremento de fuerza es de tan solo= 135 Elo


Los resultados de Pepe son muy respetables y la pregunta es ¿Por qué la discrepancia? se me ocurre en primer lugar un número de partidas insuficiente, hecho lógico debido a jugar las partidas a mano y no de forma automática como todos los experimentos anteriores.

En segundo lugar, el programa Chess Tiger de Christoph Theron es un programa muy original y diferente a los programas de los micros dedicados. Personalmente la versión Gambit Tiger ha sido durante muchos años uno de mis favoritos por su estilo de juego agresivo y original. Este programa usa una función de evaluación compleja en el primer nivel de profundización y otra función más sencilla (material y poco más) para los niveles segundo y sucesivos, esto lo he leído en varios foros, sobre todo http://www.talkchess.com en los años en que este programa estaba en la cresta de la ola. Esta búsqueda tan especial hace que probablemente su comportamiento al aumentar la velocidad sea bastante diferente respecto a los micros dedicados y a los programas actuales de PC.

Saludos
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
 
Mensajes: 526
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor Oliver » 17 Mar 2013 06:26

Ambos tienen razon.

A mi, a primera vista me parecio mucho 166 elo por subir 5, por eso el chiste... Que hice. Aclarado por el participante que es por 5 y no mas 5 pues me parecio curioso y desconocia las pruebas.

Creo que no es escalable en todos los casos. En ciertos niveles de nivel bajo a medio y de medio avanzado eso se mantiene, acercados a limite de la formula del elo, pues ya no...

Pepe tambien tiene razon en sus obsevaciones, una engine muy selectiva no va a notar mucho los cambios de mhz, por eso tiger ha envejecido un poquito mal, comparativamente. Auqnue bien, con los recursos disponibles... Por que el programa elegie su mejor jugada descartando muchas al princicpio, poda alfa beta... Ya no recuerdo.

Frtiz era un poquito mas escalable...

Sobre las pruebas de javier... Debo decir que son completas, pero en los limites de 1 o 2 o 3 segundos por jugada no es muy practico, los offset son enormes y claro que alli existiran diferencias, de liarla en ply 4 a ply 6 o 7 hay entre 100 o mas de 200 puntos de elo, casi seguro, al menos en novag...


Relacionar el elo en funcion de losm plys de profundidad puede ser mas exacto, aunque claro, tambien depende mucho de la engine...

Yo creo que hasta 2200 tañ vez en programas antiguos se de esa diferencia, pero no por que mejore la potencia de calculo en el msimo nivel, sino por que 5 veces mas de potencia es una barbaridad, esta jugando una engine a ritmo mucho mas lento, cuando el test se hizo casi a rapidas o al toque... Quiero decir que NO SE ESTA probando la engine con su cpu original al limite de su potencia, sino en un nviel mas bajo, ni se ha llenado la cache, ram, etc... Ni se ha llegado a un ritmo de ply que demuestre quebel tiemoo de espera ya no merece la pena por que no es practico, en muchas novag ese ply suele estar entre 7 y 9 para un juego rapidito... A una jugada por segundo, es imposible que juege sin cometer errores triviales... El micro esta capado... En esos ritmos.... La engine no va a tope...


Dudo que existan muchas opciones de multiplicar por 5 una maquina dedicada... Eso sin tener en cuenta el tiempo que se arrastra con el clock y que puede varias el tiempo por jugada, por supuesto que si se trata de emulaciones todo varia....

En eso es mas de 5 veces... Pero hay un limite practico em esas engines, el arbol se expande y dudo que acierten... A elegir la mejor jugada... El tiempo limite por jugada tmabien limita a las engines, que no les gusta mucho, al menos eso pone en los manuales de novag.


Es interesante todo el tema, si....

Creo recordar que cristian theron, el programador de tiger me dijo una vez que de palm a 25 o 30 mhz a ortras de 400 mhz, podria haber 150 o 200 puntos de elo. Perompodria referirse a elo uscf ... Un poquito mas inflado...


En resumen... Abria que estudiarlo, pero tiene sus peros y entiendo ambos argumentos como pausibles.... Dependiendo los casos...

Saludos equipo de meca foro!
Avatar de Usuario
Oliver
Senior
Senior
 
Mensajes: 88
Registrado: 24 Ene 2013 07:44

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Notapor ricard60 » 17 Mar 2013 13:53

Aprovechando que luis a puso un libro de David Levy de manual de ajedrez por computadora les cito este experimento
efectuado por Newborn (pg 135) y luego el añadido de BELLE de Ken thompson.

"A fin de ver cuánto han mejorado los ordenadores en un
determin ado período, Newborn ha calculado la pericia, o,
para ser más exactos , la estimación numérica de varios programas
de ajedrez según el número de nu dos evaluados por 3
minutos de movimientos. He reproducido los datos del gráfico
de Newborn de 1 979 (indicados por • en el gráfico) y les he
añadido la valoración del programa de la BELLE de Ken Thompson
que alcanzaba 2150 cuando el programa estaba evaluando unos
200.000 nudos por segundo, es decir 3600 X 104 por 3 minutos
de movimientos. Los datos de Newbom indican una mejora
de valoración de 100 puntos aproximadamente por un factor
2 de aumento de nudos examinados (o velocidad de hardware
) . El añadido de la estadística BELLE indica que el gráfico
de Newbom se publicó poco después de que la curva
empezara a ponerse achatada. Thompson determinó independientemente
una relación entre la pericia en el juego y el
número de nudos examinado , y su relación se aplanó por
completo alrededor del punto 2300 del eje de evaluación .
El aumento en el número de nudos examinados por cada
movimiento suele reflejarse en un aumento de la pericia táctica
del programa. Un programa podría mejorar níuy bien
tácticamente en 100 puntos , pero a medida que un jugador
se vuelve más experto , la táctica representa un papel menor y
determina menos el resultado de sus p artidas . En el nivel supremo
, en las competiciones del Campeonato Mundial (para
seres humanos) las tácticas sólo deciden una proporción muy
pequeña de partidas . De ahí que el mejorar la táctica de un
programa no determinará un mejoramiento general bastante
acusado de su juego . Thompson expresó este punto de vista
más sucintamente. "El sistema de pountuación es el pase a un sistema
lineal de una función multidimensional y el aumento de
pericia en una de las dimensiones quizás no resulte tan fructífero
como se esperaba" .

Particularmente pienso que las curvas publicadas por meca son una aproximacion aceptable para el calculo del elo en maquinas que se van acelerando y se ve el mismo efecto de la curva que se va achatando a medida que aumentamos la frecuencia de reloj.
Avatar de Usuario
ricard60
Avanzado
Avanzado
 
Mensajes: 543
Registrado: 21 Ene 2013 01:03
Ubicación: Puerto Ordaz

Siguiente

Volver a MARCAS, MODELOS Y CARACTERISTICAS

¿Quién está conectado?

Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 1 invitado

cron

x