Sistema MECA pre-evaluación de Elo en aceleraciones

Novedades, preguntas, bugs, tunning
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 601
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por Javier Ros » 17 Mar 2013 23:44

Experimento 5x finalizado. Se empleó el libro de aperturas Perfect2012 de Sedat Canvaz, ver

http://www.sedatcanbaz.com/chess/

Gideon 3.1 nivel 1 minuto + 1 segundo contra Gideon 3.1 nivel 1 minuto/5= 12 segundos + 1/5=0.2 segundos tras 800 partidas jugadas
+453 =238 -109 lo que arroja una diferencia de Elo de 160 con un margen de error de +19 -19

Gideon 3.1 nivel 5 minutos + 5 segundos contra Gideon 3.1 nivel 1 minuto + 1 segundo tras 400 partidas
+250 =116 -34 lo que arroja una diferencia de Elo de 209 con margen de error de +28 -28

Stockfish 2.3.1 nivel 5 minutos + 5 segundos contra Stockfish 2.3.1 nivel 1 minuto + 1 segundo tras 400 partidas jugadas
+206 =189 -5 lo que arroja una diferencia de Elo de 191 con margen de error +28 -28

Stockfish 2.3.1 nivel 1 minuto + 1 segundo contra Stockfish 2.3.1 nivel 1 minuto/5= 12 segundos + 1/5=0.2 segundos tras 800 partidas jugadas
+543 =250 -7 lo que arroja una diferencia de Elo de 273 con margen de error +19 -19
Oliver escribió:Sobre las pruebas de javier... Debo decir que son completas, pero en los limites de 1 o 2 o 3 segundos por jugada no es muy practico, los offset son enormes y claro que alli existiran diferencias, de liarla en ply 4 a ply 6 o 7 hay entre 100 o mas de 200 puntos de elo, casi seguro, al menos en novag...


Relacionar el elo en funcion de losm plys de profundidad puede ser mas exacto, aunque claro, tambien depende mucho de la engine...

Yo creo que hasta 2200 tañ vez en programas antiguos se de esa diferencia, pero no por que mejore la potencia de calculo en el msimo nivel, sino por que 5 veces mas de potencia es una barbaridad, esta jugando una engine a ritmo mucho mas lento, cuando el test se hizo casi a rapidas o al toque... Quiero decir que NO SE ESTA probando la engine con su cpu original al limite de su potencia, sino en un nviel mas bajo, ni se ha llenado la cache, ram, etc... Ni se ha llegado a un ritmo de ply que demuestre que el tiempo de espera ya no merece la pena por que no es practico, en muchas novag ese ply suele estar entre 7 y 9 para un juego rapidito... A una jugada por segundo, es imposible que juege sin cometer errores triviales... El micro esta capado... En esos ritmos.... La engine no va a tope...
Estos procesadores tienen tal potencia que Gideon 3.1 a nivel 12 segundos por partida + 0.2 segundos por movimiento, calculaba 8 ó 9 ply de profundidad, prácticamente como mi Chessmachine de 16 MHz a ritmo de torneo, como podemos ver en las 4 primeras partidas del duelo que pongo aquí con la variante principal incluida, yo diría que eso es un nivel de profundización mas que suficiente para evitar el efecto que Oliver dice. Todas las partidas las colgaré cuando consiga quitarles los comentarios y ocupen menos de 50 kb.

Gideon con nivel 1 minuto/partida + 1 segundo movimiento, GideonH (H de Handicap) nivel 12 segundos/partida + 0.2 segundos por movimiento


Avatar de Usuario
Oliver
Senior
Senior
Mensajes: 88
Registrado: 24 Ene 2013 07:44

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por Oliver » 17 Mar 2013 23:59

... interesante.... ^2.

:good:

Avatar de Usuario
meca
Administrador del Sitio
Administrador del Sitio
Mensajes: 1719
Registrado: 11 Ene 2013 01:03
Ubicación: Valencia (SPAIN)
Contactar:

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por meca » 18 Mar 2013 00:08

Gracias por la información

Avatar de Usuario
PEPE
novato
novato
Mensajes: 11
Registrado: 17 Ene 2013 23:15

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por PEPE » 18 Mar 2013 09:50

Estoy muy de acuerdo en los comentarios prudentes que hace Oliver al respecto de este tema que es muy complejo y espinoso ¡no lo voy a negar!


Vamos a ver Javier, te felicito por los excelentes Test que estas haciendo que son muy interesantes, pero una cosa es hacer un Test de partidas a ritmo de juego rápido donde hay motores de ajedrez que profundizan mucho más rápido que otros, esto no quiere decir que sean mejores motores de ajedrez ni que a nivel de torneo dichos motores tan rápidos alcancen +166 Elo por el hecho de multiplicar su velocidad x5, esto dista mucho de la realidad.

Un ejemplo claro y sencillo lo tienes en la lista SSDF donde todos los motores de ajedrez Deep ( Rybka, Hiarcs, Fritz, Shredder, Deep Junior….) en el Intel Q6600 2,4 GHz ( 4 cores ) comparando sus resultados con los obtenidos con el AMD Athlon 1200 MHz que es como mínimo 11 veces menos potente que el procesador de Intel y salvo Naum 4.2 que es el motor mejor optimizado a 64 bits ningún otro motor se aproxima ni tan siquiera a los +160 Elo y estamos hablando de que el procesador de Intel es +11 veces superior al de AMD, creo que con esto esta todo dicho, por supuesto estamos hablando de nivel de juego de Torneo donde los motores de ajedrez profundizan a su máxima potencia y ni aun así los motores de ajedrez alcanzan un aumento Elo tan alto, un ejemplo muy claro lo tenemos con el potentísimo motor Rybka 3 jugando en las mejores condiciones en un excelente Chip de Intel optimizado a 64 Bits y si lo comparamos con la versión Rybka 3 a 32 Bits ( que es el mismo motor ) las diferencias son de tan solo 124 Elo

Deep Rybka 3 x64 2GB Q6600 2,4 GHz 3203
Deep Rybka 3 256MB Athlon 1200 MHz 3079

*SSDF: http://ssdf.bosjo.net/long.txt

Cualquiera que lea este Post puede llevarse al equivoco al pensar que por aumentar la velocidad de un chip x5 un motor de ajedrez va a alcanzar cifras +166 Elo a ritmo de juego de Torneo y esto no es así, ¡Al pan, pan y al vino! ojala se pudiera alcanzar estas cifras pero la realidad es otra, no niego que a niveles de juego rápidos haya motores que aparenten tener mucho más Elo pero a niveles de Torneo la cifra baja dramáticamente.





Un motor absolutamente potente a bajos niveles de profundidad ply es Gaviota, aquí este sencillo motor puede parecer un Terminador pero luego en la practica y a niveles de Torneo lamentablemente se hunde si lo comparamos con otros motores de ajedrez más potentes.


Javier Ros escribió:
Oliver escribió:Sobre las pruebas de javier... Debo decir que son completas, pero en los limites de 1 o 2 o 3 segundos por jugada no es muy practico, los offset son enormes y claro que alli existiran diferencias, de liarla en ply 4 a ply 6 o 7 hay entre 100 o mas de 200 puntos de elo, casi seguro, al menos en novag...


Relacionar el elo en funcion de losm plys de profundidad puede ser mas exacto, aunque claro, tambien depende mucho de la engine...

Yo creo que hasta 2200 tañ vez en programas antiguos se de esa diferencia, pero no por que mejore la potencia de calculo en el msimo nivel, sino por que 5 veces mas de potencia es una barbaridad, esta jugando una engine a ritmo mucho mas lento, cuando el test se hizo casi a rapidas o al toque... Quiero decir que NO SE ESTA probando la engine con su cpu original al limite de su potencia, sino en un nviel mas bajo, ni se ha llenado la cache, ram, etc... Ni se ha llegado a un ritmo de ply que demuestre que el tiempo de espera ya no merece la pena por que no es practico, en muchas novag ese ply suele estar entre 7 y 9 para un juego rapidito... A una jugada por segundo, es imposible que juege sin cometer errores triviales... El micro esta capado... En esos ritmos.... La engine no va a tope...


Estos procesadores tienen tal potencia que Gideon 3.1 a nivel 12 segundos por partida + 0.2 segundos por movimiento, calculaba 8 ó 9 ply de profundidad, prácticamente como mi Chessmachine de 16 MHz a ritmo de torneo, como podemos ver en las 4 primeras partidas del duelo que pongo aquí con la variante principal incluida, yo diría que eso es un nivel de profundización mas que suficiente para evitar el efecto que Oliver dice. Todas las partidas las colgaré cuando consiga quitarles los comentarios y ocupen menos de 50 kb.
La velocidad que te da Gideon 3.1 si lo comparamos con la Chessmachine de 16 MHz a ritmo de Torneo se debe principalmente a que su programador “Ed Schroeder” ha mejorado por error la evaluación posicional de Gideon 3.1, según cita el propio autor al pasar el motor Gideon UCI incorporo parte del código del evaluador posicional del potente motor Prodeo de forma accidental lo que ha incrementado la fuerza del Engine Gideon en al menos 70-100 Elos sobre la versión original, esto explica la gran fuerza de juego de Gideon UCI y lo bien que juega ¡Bendito error! Por este motivo te da tanta diferencia en profundidad de juego si lo comparamos con la versión de ChessMachine de 16 Mhz.

Con todo lo expuesto aquí por parte de los diferentes miembros del Foro Meca que cada uno saque sus conclusiones.


Saludos...

Avatar de Usuario
meca
Administrador del Sitio
Administrador del Sitio
Mensajes: 1719
Registrado: 11 Ene 2013 01:03
Ubicación: Valencia (SPAIN)
Contactar:

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por meca » 18 Mar 2013 13:32

Yo esas máquinas y plataformas las desconozco y lo que haré es hacer seguimiento a algunos Elos de nuestra lista Blitz como:

modena 4 mhz ...........1939
modena 8 mhz ...........2078 ... x2 ... +139

Centurion 10 MHz........1969
Centurion 32 MHz........2131 ... x3,2 . +172

MM II 3.7 MHz...........1802
MM II 72 MHz............2067 ... x20 ... +265

Super Mondial II 4 MHz..1996
Super Mondial II 8 MHz..2039 ... x2 ... + 43

Scorpio 68000 16 MHz ...2100
Scorpio 68000 40 MHz ...2150 ... x2,5 .. + 50

Mystery 12 MHz .........2051
Mystery 32 MHz .........2153 ... x2,7 .. + 102

yosy
novato
novato
Mensajes: 26
Registrado: 21 Ene 2013 16:53

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por yosy » 18 Mar 2013 14:05

Hola a todos,centurion tiene un cristal de cuarzo de 10 Mhz ó de 20 Mhz,recordemos que en los chips H8 devemos dividir
su velocidad nominal por 2,puesto que no son chips tipo risc puros???,entonces para conseguir una velocidad real de 32 Mhz
deberiamos utilizar un chip de 64 Mhz???? :blink:

Avatar de Usuario
Jorge L Valdes
Gurú
Gurú
Mensajes: 2880
Registrado: 14 Ene 2013 14:00
Ubicación: Miami FL USA.
Contactar:

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por Jorge L Valdes » 18 Mar 2013 15:28

Javier Ros escribió:
la pregunta es ¿Por qué la discrepancia?

Y esta es la pregunta que yo también me hago.
¿Por qué la discrepancia?

Después de leer tantas estadísticas,tantas
ecuaciones, cálculos,curvas etc etc. me sigo
diciendo eso que preguntaba Javier,
¿Por qué la discrepancia?.
Estamos obligado a encasillarnos toda la vida
por métodos y patrones, que serán muy buenos
o fueron muy buenos, pero no dejan de tener
sus gotas de veneno, producto de muchos
intereses de mercado. Cosa esta que hemos
podido comprobar, en las diferencias de Elo de
muchos modelos.
Respetamos y valoramos mucho todos estos
patrones de los principales países que se han
dedicado a estos estudios, como Alemania Francia
Estados Unidos y algunos otros.
Pero no dejamos de reconocer que en todo esto
siempre hay conflictos de intereses; sin dejar de
señalar también que muchos de esos estudios de
años atrás ya han caducado.

En el caso nuestro, que estamos buscando una
segunda opinión y que no trabajamos para
ninguna firma de producción, por lo que nuestro
único interés, es nuestra pasión por los micros
dedicados y los programas de ajedrez, solamente
queremos tener una certeza averiguada por
nosotros mismos, mediante enfrentamientos
entre nuestras computadoras las distintas
variaciones en que fluctúan estas maquinas,
aumentado su velocidad de procesamiento.

Claro a medida que vayamos obteniendo una valuación
de esos estudios, la vamos comunicando, y haciendo
publico a los interesados en nuestro Foro, por eso me
digo como dijera Javier.
¿Por qué la discrepancia? Gracias.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 601
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por Javier Ros » 18 Mar 2013 19:28

PEPE escribió:Vamos a ver Javier, te felicito por los excelentes Test que estas haciendo que son muy interesantes, pero una cosa es hacer un Test de partidas a ritmo de juego rápido donde hay motores de ajedrez que profundizan mucho más rápido que otros, esto no quiere decir que sean mejores motores de ajedrez ni que a nivel de torneo dichos motores tan rápidos alcancen +166 Elo por el hecho de multiplicar su velocidad x5, esto dista mucho de la realidad.

Un ejemplo claro y sencillo lo tienes en la lista SSDF donde todos los motores de ajedrez Deep ( Rybka, Hiarcs, Fritz, Shredder, Deep Junior….) en el Intel Q6600 2,4 GHz ( 4 cores ) comparando sus resultados con los obtenidos con el AMD Athlon 1200 MHz que es como mínimo 11 veces menos potente que el procesador de Intel y salvo Naum 4.2 que es el motor mejor optimizado a 64 bits ningún otro motor se aproxima ni tan siquiera a los +160 Elo y estamos hablando de que el procesador de Intel es +11 veces superior al de AMD, creo que con esto esta todo dicho, por supuesto estamos hablando de nivel de juego de Torneo donde los motores de ajedrez profundizan a su máxima potencia y ni aun así los motores de ajedrez alcanzan un aumento Elo tan alto, un ejemplo muy claro lo tenemos con el potentísimo motor Rybka 3 jugando en las mejores condiciones en un excelente Chip de Intel optimizado a 64 Bits y si lo comparamos con la versión Rybka 3 a 32 Bits ( que es el mismo motor ) las diferencias son de tan solo 124 Elo

Deep Rybka 3 x64 2GB Q6600 2,4 GHz 3203
Deep Rybka 3 256MB Athlon 1200 MHz 3079

*SSDF: http://ssdf.bosjo.net/long.txt
Muchas gracias por las felicitaciones.
Respecto a la lista ELO ply no podemos comparar peras con manzanas, procesador simple con multiproceso, 4 núcleos no multiplican la velocidad por 4.
PEPE escribió:Cualquiera que lea este Post puede llevarse al equivoco al pensar que por aumentar la velocidad de un chip x5 un motor de ajedrez va a alcanzar cifras +166 Elo a ritmo de juego de Torneo y esto no es así, ¡Al pan, pan y al vino! ojala se pudiera alcanzar estas cifras pero la realidad es otra, no niego que a niveles de juego rápidos haya motores que aparenten tener mucho más Elo pero a niveles de Torneo la cifra baja dramáticamente.

Un motor absolutamente potente a bajos niveles de profundidad ply es Gaviota, aquí este sencillo motor puede parecer un Terminador pero luego en la practica y a niveles de Torneo lamentablemente se hunde si lo comparamos con otros motores de ajedrez más potentes.
Pues que quieres que te diga, que aumentar la velocidad x5 aumenta el Elo en torno a 166 es un hecho reconocido por toda la comunidad de ajedrez electrónico. Hay hechos tantos experimentos de estos como para empapelar un piso y todos coinciden de forma más o menos aproximada a la curva propuesta por Meca, aquí tienes otro, esta vez con Gaviota precisamente,

Rank Name Elo + - games score oppo. draws
1 Naum 4.2 64-bit 165 11 11 2600 73% -13 28%
2 Gull 1.0a 64-bit 103 10 10 2600 65% -8 32%
3 Gaviota 0.85.1 64-bit(8) 98 12 12 2000 62% 10 30%
4 Spike 1.4 49 10 10 2600 57% -4 32%
5 Hannibal 1.1 64-bit 40 10 10 2600 56% -3 34%
6 Quazar 0.4 64-bit 22 10 10 2600 53% -2 35%
7 Gaviota 0.85.1 64-bit(4) 21 12 12 2000 51% 10 32%
8 Nemo 1.01 beta 64-bit -10 10 10 2600 48% 1 32%
9 Booot 5.1.0 -29 10 10 2601 46% 2 34%
10 Glaurung 2.2 JA 64-bit -47 10 10 2600 43% 4 29%
11 Gaviota 0.85.1 64-bit(2) -65 12 12 2001 40% 10 28%
12 Jonny 4.00 -95 11 11 2600 36% 7 27%
13 SmarThink 1.20 64-bit -102 11 11 2600 35% 8 26%
14 Gaviota 0.85.1 64-bit -149 13 13 2000 29% 10 26%

donde Gaviota jugó un torneo con varios miles de partidas contra otros rivales duplicando el tiempo de reflexión desde el nivel base:
Gaviota 0.85.1 64-bit, que obtuvo -149 Elo respecto del nivel medio del torneo con margen de error +13 -13;
Gaviota 0.85.1 64-bit(2) con velocidad 2x que obtuvo -65 Elo respecto del nivel medio del torneo con margen de error +12 -12
Gaviota 0.85.1 64-bit(4) con velocidad 4x que obtuvo+ 21 Elo respecto del nivel medio del torneo con margen de error +12 -12
Gaviota 0.85.1 64-bit(8) con velocidad 8x que obtuvo +98 Elo respecto del nivel medio del torneo con margen de error +12 -12

esto indica esto indica que la versión 4x tuvo una ganancia de 21-(-149)=170 respecto de la versión normal y
que la versión 8x tuvo una ganancia de 98-(-149)=247 respecto de la versión normal.
Se puede ver el experimento completo en

http://www.talkchess.com/forum/viewtopic.php?t=43598
PEPE escribió:La velocidad que te da Gideon 3.1 si lo comparamos con la Chessmachine de 16 MHz a ritmo de Torneo se debe principalmente a que su programador “Ed Schroeder” ha mejorado por error la evaluación posicional de Gideon 3.1, según cita el propio autor al pasar el motor Gideon UCI incorporo parte del código del evaluador posicional del potente motor Prodeo de forma accidental lo que ha incrementado la fuerza del Engine Gideon en al menos 70-100 Elos sobre la versión original, esto explica la gran fuerza de juego de Gideon UCI y lo bien que juega ¡Bendito error! Por este motivo te da tanta diferencia en profundidad de juego si lo comparamos con la versión de ChessMachine de 16 Mhz.
Esto es una noticia desconocida para mí, es una pena que Schroder nos haya engañado como chinos, porque en su página dice:

Mephisto Gideon Professional (1993) now available as Winboard | UCI engine. Specifics: Identical Search and Evaluation. Hash table support as it was in the old days, the default setting is 2Mb. Installation as you are used to with ProDeo.

Alvaro ya se había dado cuenta de que entre la versión Madrid 3.1 de la Chessmachine, Mephisto RISC II y Gideon Profesional 93 había ligeras diferencias que no corresponden con la misma versión. Sobre este tema investigaré más despacio.
PEPE escribió:Con todo lo expuesto aquí por parte de los diferentes miembros del Foro Meca que cada uno saque sus conclusiones.
Totalmente de acuerdo.

Avatar de Usuario
Oliver
Senior
Senior
Mensajes: 88
Registrado: 24 Ene 2013 07:44

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por Oliver » 19 Mar 2013 23:30

meca escribió:Yo esas máquinas y plataformas las desconozco y lo que haré es hacer seguimiento a algunos Elos de nuestra lista Blitz como:

modena 4 mhz ...........1939
modena 8 mhz ...........2078 ... x2 ... +139

Centurion 10 MHz........1969
Centurion 32 MHz........2131 ... x3,2 . +172

MM II 3.7 MHz...........1802
MM II 72 MHz............2067 ... x20 ... +265

Super Mondial II 4 MHz..1996
Super Mondial II 8 MHz..2039 ... x2 ... + 43

Scorpio 68000 16 MHz ...2100
Scorpio 68000 40 MHz ...2150 ... x2,5 .. + 50

Mystery 12 MHz .........2051
Mystery 32 MHz .........2153 ... x2,7 .. + 52

Si. efectivamente, eso parece confirmar que esa regla de tres se mantiene hasta 2200 o así... por otra parte, es curioso que esas maquinas tienen su solera, y en aquellos tiempos las tecnicas de programacion eran "mas brutas" y menos selectivas que ahora... o posteriormente... por tanto, es lógico que ante un incremento de velocidad aumente su nivel de juego, puede que pasen a calcular un ply o dos mas, con notables diferencias.

Nuevamente, en niveles medianos, y en blitz... por que en un ritmo semirapido o lento... "llegariamos" al tope estimado en la programacion....

quiero decir, que en su momento los algoritmos de programacion estaban optimizados para aprovechar la cpu, ram, etc...en funcion del tiempo disponible y por otra parte, "la poda alfa-beta o lo que apliquen posiblemente tendria en cuenta "parametros" practicos...

vamos... que para ritmos blitz, las engines de ahora tienen una programacion distinta que para ritmos rapidos...

en las maquinas dedicadas, creo que el sistema de programacion era el mismo, y mas si tienen algo de tiempo...

Se cumple la relación... mas o menos... eso si.. pero por un cumulo de circunstancias...

saludos Meca

Oliver

Avatar de Usuario
meca
Administrador del Sitio
Administrador del Sitio
Mensajes: 1719
Registrado: 11 Ene 2013 01:03
Ubicación: Valencia (SPAIN)
Contactar:

Re: Sistema MECA pre-evaluación de Elo en aceleraciones

Mensaje por meca » 20 Mar 2013 00:00

Si, es cierto, a ritmo Blitz es mucho más seguros que algunas máquinas superen un nivel mayor de plys y que a niveles de plys bajos eso se debe notar mucho. El estilo de programa también debe influir, yo creo que las Novag no sacan tanto beneficio en Blitz como otro tipo de programas. Iremos obervando a ver, tenemos relativamente pocos ejemplos y partidas por ahora.

Responder