Evaluando Leela Chess Zero

Software, versiones y novedades
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 02 Ago 2018 21:34

Bueno, mientras se juega el match de 60mov/30min en el ordenador de sobremesa, no me he podido resistir a realizar algún experimento con el portátil.
Algún experimento no muy largo porque no quiero reventarlo, así que lo dejo descansar entre partida y partida y tengo el aire acondicionado a tope.
El portátil tiene un i7 7700HQ (4 núcleos y 8 hilos de ejecución) y tarjeta gráfica GTX 1070 y es más rápido que mi ordenador de sobremesa.

Pues se me ha ocurrido poner a lczero id 531 a jugar la variante Winawer de la Francesa, tras 1.e4 e6 2.d4 d5 3.Cc3 Ab4 (una de mis preferidas) contra Stockfish 9 a ritmo 60mov/30min, la primera partida ha resultado espectacular con una gran victoria de lczero. Veremos como será la revancha de Stockfish con blancas.


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 02 Ago 2018 23:46

En una partida menos espectacular que la anterior, Stockfish ganó con blancas.


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 03 Ago 2018 09:37

Bueno ya han terminado las partidas con blancas de lczero de la ronda a 60mov/30min. De los 2.5 puntos sobre 8 de la primera ronda con blancas a 60/5, se ha pasado a 4.5/8, más del 50% lo que confirma que la fuerza relativa de lczero mejora con algo más de tiempo de reflexión. Veremos lo que pasa con negras.

lczero533-Shredder13 1-0
lczero533-Stockfish5 1/2-1/2
lczero533-Stockfish6 1/2-1/2
lczero533-Stockfish7 1-0
lczero533-Stockfish8 1/2-1/2
lczero533-Stockfish9 1/2-1/2
lczero533-Komodo10 0-1
lczero533-Komodo11 1/2-1/2


alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 05 Ago 2018 17:46

Hola Javier,

Las partidas se juegan con una base variada hasta el movimiento 8, descargada de la web de Arena, siempre las mismas 15 partidas, con los dos colores. El fichero se llama o-deville__random.pgn . He visto que ya no está para descarga. Está sólo http://www.playwitharena.com/download/f ... random.rar . Shredder 12 usa 4 hilos y 3Gb de tablas, a ritmo de 15 minutos por partida. Aunque a ese ritmo, esas tablas son muy grandes, hay programas (como Komodo y Wasp) que las reutilizan entre movimientos, con lo que las llenan en unas cuantas jugadas. Tengo así la configuración para no cambiarla el día en que LC0 supere a Shredder 12 y su rival sea otro programa. En cuanto a la selección de las aperturas, creo que no es tan importante como el hecho de que siempre sean las mismas partidas. Como ya comenté, cuando hablamos de objetivos en los 3xxx elo, poco debe importar la apertura, y más cuando la va a jugar con los dos colores. Un programa a ese nivel tiene que ser capaz de jugar todo. Y si al rival no le supone un problema, a Leela tampoco debería.

Estoy terminando el enfrentamiento con el nuevo cliente 0.16 y la red 555. Pinta que va a quedar igual que las anteriores, 17-13 para Shredder 12. Veremos cuando amplíen la red a 20 bloques, que por lo que pone en la web de LC0, será en pocos días. He visto que han cambiado la manera en que muestra la profundidad y que ahora llega más allá del ply 29. He visto hasta el 35. No he hecho pruebas de táctica. Es posible que hayan tocado algo en la búsqueda para mejorar resultados.

Acabo de ver que en interfaz chessbase ya se puede acceder al cuadro de parámetros del módulo. El famoso cpuct lo han subido a 3.40, claramente orientado a la táctica.
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 05 Ago 2018 22:45

El nivel táctico de la id555 es considerablemente más alto que el cliente 0.10. C01 y C02 del Frontera las resuelve en 22" y 44" la id555 GPU. El cliente 0.10 con id525 no ve C02 en 13 minutos. C01 la ve en profundidad 29. Hay un avance importante en táctica.
usuario fics: alvaroi

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 06 Ago 2018 18:45

alvaroi escribió:Hola Javier,

Las partidas se juegan con una base variada hasta el movimiento 8, descargada de la web de Arena, siempre las mismas 15 partidas, con los dos colores. El fichero se llama o-deville__random.pgn . He visto que ya no está para descarga. Está sólo http://www.playwitharena.com/download/f ... random.rar . Shredder 12 usa 4 hilos y 3Gb de tablas, a ritmo de 15 minutos por partida. Aunque a ese ritmo, esas tablas son muy grandes, hay programas (como Komodo y Wasp) que las reutilizan entre movimientos, con lo que las llenan en unas cuantas jugadas. Tengo así la configuración para no cambiarla el día en que LC0 supere a Shredder 12 y su rival sea otro programa. En cuanto a la selección de las aperturas, creo que no es tan importante como el hecho de que siempre sean las mismas partidas. Como ya comenté, cuando hablamos de objetivos en los 3xxx elo, poco debe importar la apertura, y más cuando la va a jugar con los dos colores. Un programa a ese nivel tiene que ser capaz de jugar todo. Y si al rival no le supone un problema, a Leela tampoco debería.

Estoy terminando el enfrentamiento con el nuevo cliente 0.16 y la red 555. Pinta que va a quedar igual que las anteriores, 17-13 para Shredder 12. Veremos cuando amplíen la red a 20 bloques, que por lo que pone en la web de LC0, será en pocos días. He visto que han cambiado la manera en que muestra la profundidad y que ahora llega más allá del ply 29. He visto hasta el 35. No he hecho pruebas de táctica. Es posible que hayan tocado algo en la búsqueda para mejorar resultados.

Acabo de ver que en interfaz chessbase ya se puede acceder al cuadro de parámetros del módulo. El famoso cpuct lo han subido a 3.40, claramente orientado a la táctica.
Gracias por la información Alvaro, parece un buen procedimiento para evaluar. Coincido contigo en que el jugar siempre la misma selección de partidas y repetir con blancas y negras elimina aleatoriedad en la prueba y hace más fiable los resultados.

Yo pensé utilizar las 20 posiciones de Nunn pero al final me incliné por la posición inicial, no sé qué opinión tendrás de esa selección de partidas.

Yo por mi parte sigo con el experimento con las 8 partidas restantes del ritmo 60 movimientos en 30 minutos con lczero id 533 jugando con negras.
El resultado con las piezas negras ha sido de 2 puntos sobre 8 lo cual sigue siendo muy mejorable.
El resultado global de 60/30 ha sido por tanto 6.5 puntos de 16 lo que arroja un 40.63% frente a 2.5 de 16 a ritmo 60/5 con 15.63%.


Engine Score Lc
1: Lczero533 3,5/8 ·
2: Stockfish5_x64_modern 1,0/1 1
2: Stockfish_8_x64_bmi2 1,0/1 1
4: Stockfish-6-bmi2 0,5/1 =
4: Stockfish 7 x64 bmi2 0,5/1 =
4: EngineDeepShredder13UCIx64 0,5/1 =
4: Stockfish_9_x64_bmi2 0,5/1 =
4: Komodo-11.01-64bit 0,5/1 =
9: Komodo-10.3-64bit 0,0/1 0

Parece claro que a 5 segundos de promedio lczero en este hardware tiene una pérdida considerable de fuerza frente al nivel 60/30.
También el llevar las piezas negras parece una desventaja importante para lczero.

Por cierto, yo no he instalado todavía la nueva versión lc0 y estoy jugando con la versión anterior lczero. La nueva versión puede cambiar estos resultados.


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 07 Ago 2018 11:01

alvaroi escribió:El nivel táctico de la id555 es considerablemente más alto que el cliente 0.10. C01 y C02 del Frontera las resuelve en 22" y 44" la id555 GPU. El cliente 0.10 con id525 no ve C02 en 13 minutos. C01 la ve en profundidad 29. Hay un avance importante en táctica.
Siguiendo los consejos de Alvaro, he instalado la nueva versión de Leela Chess Zero 0.16 que ahora abrevian como lc0 para ver como mejora en táctica.
La táctica ha sido el punto débil de lczero en estas pruebas pues ha perdido varias partidas con gran ventaja conseguida posicionalmente con mucha paciencia, encajando incluso un mate en dos.
Mientras he terminado los últimos experimentos con la versión lczero 0.10 con la ronda de 60 movimientos en 60 minutos.

Engine Score Lc
1: Lczero533 4,5/16 ··
2: Stockfish5_x64_modern 2,0/2 11
2: Stockfish_8_x64_bmi2 2,0/2 11
4: Stockfish 7 x64 bmi2 1,5/2 =1
4: Stockfish-6-bmi2 1,5/2 =1
4: Stockfish_9_x64_bmi2 1,5/2 =1
7: EngineDeepShredder13UCIx64 1,0/2 ==
7: Komodo-10.3-64bit 1,0/2 01
7: Komodo-11.01-64bit 1,0/2 ==

El resultado global ha sido 4.5 de 16 puntos lo que arroja un 28.13% y supone una bajada respecto al nivel 60/30 donde obtuvo 6.5/16=40.63%, aunque algo superior al de 60/5 que fue 2.5/16=15.63%
Por tanto, a partir de 30 segundos por movimiento de promedio la fuerza relativa de lczero respecto a los programas clásicos con algoritmo alfa-beta no mejora como yo esperaba.
El experimento a 40 mov en 2 horas no lo realizaré, y paso a probar la nueva versión lc0 0.16 con la red 570.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 08 Ago 2018 15:28

Tras la instalación de la versión 0.16 de LeelaChessZero y actualizar a la red 570 el programa ha mejorado bastante. La táctica va mejorando y se ven menos errores elementales como los de la versión anterior. Todavía queda bastante por mejorar en este aspecto.
Además he instalado las librerías CUDA de Nvidia que hacen volar a la tarjeta gráfica multiplicando por 4 ó 5 la velocidad en nodos por segundo.
Advertencia hay que echarle un ojo a la temperatura de la GPU pues he visto como subía a 70 grados centígrados. Es recomendable monitorizar la misma para evitar disgustos.

Bueno pues la primera ronda ha sido a 60 movimientos en 5 minutos con los mismos rivales y partiendo de la posición inicial.
Con blancas lc0 ha seguido jugando 1.c4 mientras que con negras, frente a 1.e4 ha cambiado a la Defensa Siciliana frente a la Defensa Francesa que jugaba la otra configuración.

El resultado conseguido por lc0 ha sido 5.5 puntos de 16, es decir un porcentaje de 34.38%.


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 10 Ago 2018 00:49

He realizado otra ronda al ritmo intermedio de 60 movimientos en 15 minutos repitiendo las partidas contra los mismos rivales.
A este ritmo de juego lc0 ha cambiado su primera jugada por 1.e4 respondiendo frente a 1..e5 con la Apertura Italiana.
Curiosamente con negras ha jugado frente a 1.e4 la Defensa Siciliana salvo en una sola partida que ha jugado la Defensa Francesa.

El resultado global ha sido 6/16= 37.5%, mejorando un poco frente al de 60/5 que fue de 34.38%.

Lc0cuda570 - EngineDeepShredder13UCIx64 : 1,5/2 1-0-1 (1=) 75%
Lc0cuda570 - Stockfish5_x64_modern : 1,5/2 1-0-1 (1=) 75%
Lc0cuda570 - Stockfish-6-bmi2 : 0,5/2 0-1-1 (=0) 25%
Lc0cuda570 - Stockfish 7 x64 bmi2 : 1,5/2 1-0-1 (1=) 75%
Lc0cuda570 - Stockfish_8_x64_bmi2 : 0,5/2 0-1-1 (0=) 25%
Lc0cuda570 - Stockfish_9_x64_bmi2 : 0,0/2 0-2-0 (00) 0%
Lc0cuda570 - Komodo-10.3-64bit : 0,0/2 0-2-0 (00) 0%
Lc0cuda570 - Komodo-11.01-64bit : 0,5/2 0-1-1 (0=) 25%



Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 11 Ago 2018 13:28

Ultima prueba que he realizado con estas condiciones. Las siguientes serán con el hyperthreading desactivado y con mayor número de núcleos de procesador para los rivales de lc0.
La ronda se ha jugado al ritmo de 60 movimientos en 30 minutos partiendo de la posición inicial.

A este ritmo de juego lc0 ha jugado siempre 1.d4.
Con negras ha jugado frente a 1.e4 la Defensa Francesa.

El resultado global ha sido 6.5/16= 40.63%, mejorando un poco frente a los ritmos de 60/15 que fue de 37.5% y al de 60/5 que fue de 34.38%.

Lc0cuda570 - EngineDeepShredder13UCIx64 : 1,0/2 1-1-0 (10) 50%
Lc0cuda570 - Stockfish5_x64_modern : 1,5/2 1-0-1 (1=) 75%
Lc0cuda570 - Stockfish-6-bmi2 : 0,5/2 0-1-1 (=0) 25%
Lc0cuda570 - Stockfish 7 x64 bmi2 : 1,0/2 0-0-2 (==) 50%
Lc0cuda570 - Stockfish_8_x64_bmi2 : 0,0/2 0-2-0 (00) 0%
Lc0cuda570 - Stockfish_9_x64_bmi2 : 1/2 0-2-0 (==) 50%
Lc0cuda570 - Komodo-10.3-64bit : 0,5/2 0-1-1 (0=) 25%
Lc0cuda570 - Komodo-11.01-64bit : 1,0/2 0-0-2 (==) 50%



Responder