Evaluando Leela Chess Zero

Software, versiones y novedades
alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 14 Oct 2018 22:10

Ya en la versión 18.1, con la tercera red aprendiendo. El equipo de Leela sigue experimentando y buscando maneras de crear redes nuevas, con distintos modos de entrenamiento. La actual, de la serie "2xxxx", sigue su marcha hacia adelante. Las pruebas con la 21432 aún arrojan una derrota contra Deep Shredder 12 x32 usando 4 hilos, frente a la versión OpenCL. La más rápida CUDA, ya iguala, pero prefiero continuar usando la versión GPU OpenCL para poder comparar con versiones anteriores.

Ritmo partida a 15 minutos sin incremento. Suite de f-quisinsky__random.pgn a 40 partidas, cambiando colores y siempre las mismas. GPU Nvidia GTX980 y CPU i7 990X con 4 hilos. Sin libro y empezando las partidas en la jugada 7.

Engine___________________________Score
1: Deep Shredder 12 UCI__________23,0/40
2: Lc0 18.1 GPU id21432-4463_____17,0/40


Por hacer una comprobación con una de las versiones de la primera red, hice una prueba usabdo la 21324 contra la 555. El resultado fue apabullante.

Engine____________________________Score
1: Lc0 18.1 GPU id21324-4191______37,0/40
2: Lc0 16.0 GPU id555-3207_________3,0/40
usuario fics: alvaroi

Avatar de Usuario
tibono
Senior
Senior
Mensajes: 91
Registrado: 20 Ago 2015 23:07

Re: Evaluando Leela Chess Zero

Mensaje por tibono » 15 Oct 2018 07:27

Hi all,

for those who are interested with Lc0 and do not own any GPU/fast graphic card, a useful question is how to get decent performance using the blas version for CPU.

My current best performing arrangement is:
lc0 0.17 (current 0.18 crashes sometimes on my laptop)
scs 64x8 network run1 500000 steps (link)
Cpuct MCTS 1.700000
Minibatch size 16
Max prefetch nodes 0
Scale thinking time 1.200000
NN cache size 400000 (to be tuned according to the RAM use you grant)

Happy to read about other sucessful configurations, feel welcome to share!

Have fun with testing,
Tibono

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 19 Oct 2018 22:15

Con las redes 2xxxx y 3yyyy aprendiendo lentamente, las redes 11xxx son superiores y yo sigo probando las últimas redes de esta serie.
En el siguiente experimento se jugaron 100 partidas en cada serie con la Suite Silver de

https://en.chessbase.com/post/test-your ... ings-suite

"Esta serie de aperturas está compuesta de 50 posiciones, dando lugar a un match de 100 partidas, cubriendo no solamente las aperturas principales sino también estructuras típicas de peones y sistemas de aperturas. ... Para determinar la frecuencia de las aperturas, el número de posiciones de cada apertura en la serie es proporcional al número de veces que aparece en Mega Database 2010.

Lc0 version 0.18 rc2 con red 11261 sobre Asus Geforce GTX 1060 3 Gb (300$) contra Stockfish 9, Houdini 6 Pro y Komodo 12 con 4 hilos de ejecución corriendo en i7 4790S con 4 cores y 8 hilos, ponder Off, Hash tables 1 Gb. bajo interfaz de Arena. Tiempo 5 minutos por partidas más 3 segundos.

Para experimentar lc0 ha jugado con tablebases de 5 piezas support for lc0 en disco SSD, Stockfish 9, Houdini 6 y Komodo 12 jugaron sin tablebases.
LeR=3300*875/4500000=0.64

Stockfish_9_x64_bmi2 - Lc018rc211261syzygy : 57,5/100 24-9-67 (===0=0=====1=1===1=1=101=1=1===01====1=====1======0======111=======1=0======1=0===111==1=11====110=0) 57.5%
Lc018rc211261syzygy - Stockfish_9_x64_bmi2 : 42,5/100 9-24-67 (===1=1=====0=0===0=0=010=0=0===10====0=====0======1======000=======0=1======0=1===000==0=00====001=1) 42,5%

pgn completo en
https://sites.google.com/site/unoallavo ... ects=0&d=1

H6_Pro_x64-pext - Lc018rc211261syzygy : 53,0/100 18-12-70 (======0====001=1=1===10=00==0===1=1===0====1===1101==1===11==1=========1=========0==1====10====1===0) 53%
Lc018rc211261syzygy - H6_Pro_x64-pext : 47,0/100 12-18-70 (======1====110=0=0===01=11==1===0=0===1====0===0010==0===00==0=========0=========1==0====01====0===1) 47%

https://sites.google.com/site/unoallavo ... ects=0&d=1

Komodo-12-bmi2-64bit - Lc018rc211261syzygy : 46,5/100 18-25-57 (=1===1=00=0=00=====10=0101==01===011======01===10===01==0=1===0=====01====010=000=0===01==1====1=001) 46,5%
Lc018rc211261syzygy - Komodo-12-bmi2-64bit : 53,5/100 25-18-57 (=0===0=11=1=11=====01=1010==10===100======10===01===10==1=0===1=====10====101=111=1===10==0====0=110) 53,5%

https://sites.google.com/site/unoallavo ... ects=0&d=1

Después de empezado el test, se supo que la implementación de las bases de finales era defectuosa. por lo que repetí el test con la versión corregida lc0 0.18.1 contra Stockfish 9 y el resultado de lc0 mejoró

Stockfish_9_x64_bmi2 - Lc0181TB11261 : 56,0/100 21-9-70 (1==1=00===========11=001====1=1====1=1==1==10==1011====1=====1==11===10=0========1=============1===0) 56%
Lc0181TB11261 - Stockfish_9_x64_bmi2 : 44,0/100 9-21-70 (0==0=11===========00=110====0=0====0=0==0==01==0100====0=====0==00===01=1========0=============0===1) 44%

https://sites.google.com/site/unoallavo ... ects=0&d=1

Los errores tácticos aparecieron de nuevo del lado de lc0, como en la partida 82 del último match.
Después de jugar lc0 63...Kc5 +0.35






Stockfish9 jugó 64.Ce6+ +0.39 esperando Rb6, pero después del error
64... Kc4?? +0.37
65.Rd4+ +7.87 Stockfish 9 ganó fácilmente.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 19 Oct 2018 22:26

Una de las partidas más interesantes de la prueba anterior fue la India de Rey siguiente donde lc0 con negras condujo un ataque brillante contra Stockfish 9.




Repetí la partida a ritmo 25 minutos más 10 segundos:



Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 19 Oct 2018 22:32

Volví a repetir las partidas a ritmo 90 minutos más 30 segundos con victoria de las blancas de lc0 y Stockfish9:

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 25 Oct 2018 00:06

En los tests que estoy haciendo con Leela Chess Zero salen algunas joyas dignas de comentar. Por ejemplo la siguiente contra Stockfish 9, que jugó utilizando tres hilos de ejecución del i7 4790S, que le permite calcular unos 3.86 millones de nodos por segundo contra los 3300 de lc0, esto arroja un ratio de:
LeR=3300*875/3860000=0.75

Stockfish 9 jugó con libro de aperturas perfect2018 sin tablebases y lc0 11261 sin libro pero con syzygy de 6 piezas. Esto compensa la debilidad de lc0 en finales y su superioridad en la apertura. Esta superioridad que después de muchas pruebas a mi me parece patente, ha sido medida y publicada en el foro Talkchess:

http://talkchess.com/forum3/viewtopic.php?f=2&t=68621

Volviendo a las perlas de lc0, en la siguiente se llegó a esta posición donde lc0 con negras se las ingenia para cambiar su alfil malo de e7 por el bueno de las blancas. El plan comienza con 13...g6.



Tras el cambio del alfil malo de las negras por el alfil bueno de las blancas (el de casillas negras) en la jugada 25 y el cambio de damas en la jugada 26, la debilidad de las casillas negras de las blancas es de libro y lc0 se aprovecha de ella primero con el caballo y luego con el rey!, que juega un papel crucial en la victoria de las negras.




En la siguiente posición, lc0 con blancas sacrifica un peón para abrir una columna de ataque contra el rey enemigo con 17.h4



En la jugada 27 sacrifica la calidad y se acaba imponiendo en el final.



Sacrificar un peón ante Stockfish y salir victorioso era algo terriblemente complicado para programas y humanos, que sin embargo lc0 lo está convirtiendo en costumbre. En la siguiente posición, alcanzada tras jugar Stockfish 14.Tb1, lc0 juega Dd7 y tras 15.Ch4 Ah3 16.Txb7 el peón es capturado.





lc0 consigue compensación montando un original ataque con la torre por delante de la cadena de peones tras 20...Te5 y 21...Th5.


alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 29 Oct 2018 15:11

Os dejo esta interesante y didáctica partida muy del estilo de Leela cuando el rival no evalúa correctamente los desequilibrios entre material y actividad con ataque.



En esta ocasión se trata de la versión CUDA, que es unas tres veces más rápida que la OPENCL en mi máquina. Senpai con 4 hilos del i7 990X. La partida corresponte a un torneo de prueba, aún por terminar, entre Senpai, LC0 CUDA y Fritz 15.
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 31 Oct 2018 21:43

Más resultados de las redes 21927 y 30725. Deep Shredder 12 ya cae contra la 21927. Comparativamente, la 30xxx aún no está al nivel. Hay bastante diferencia. Como decía Javier, aún no se ha superado a las últimas redes 11xxx. En otros torneos, veremos eso también. Voy a ir poniendo resultados contra otros oponentes.

Las condiciones son las habituales. 15/0 con la misma base de partidas, 2 colores, sin libro de aperturas y jugando desde la el movimiento 7. Procesador i7 990X 4 hilos y GPU 980 con las versiones opencl.

Engine.............................Score....Lc........De.......Lc.....S-B
1: Lc0 18.1 GPU id21927-4356.....55,5/80 ******* 14-8-18 27-2-11...1635,50
2: Deep Shredder 12 UCI..........48,5/80 8-14-18 ******* 27-4-9....1447,50
3: Lc0 18.1 GPU id30725-3812.....16,0/80 2-27-11 4-27-9 *******.....828,50
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 31 Oct 2018 21:50

La red 21927 cae contra Fritz 15. Mismas condiciones de torneo que pruebas anteriores. He visto que Fritz 15 ha perdido alguna partida por tiempo. Para evitar posibles interferencias por causas ajenas al propio ajedrez, quizá por gestión de Arena o por lo que sea, usaré el control 15/2 en futuros torneos.

Engine....................Score Fr Lc S-B
1: Fritz 15....................20,0/28 ···························· 1===101=1=0=10111011111111==
2: Lc0 18.1 GPU id21927-4356....8,0/28 0===010=0=1=01000100000000== ····························
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 233
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 31 Oct 2018 21:55

La red 21927 se impone a Fritz 15 usando la versión CUDA, unas 3 veces más rápida en mi máquina.

Engine..............................Score....Lc......Fr......Se.....S-B
1: Lc0 18.1 CUDA id21927-4356.....47,5/80 ······· 15-8-17 14-6-20 1720,5
2: Fritz 15.......................39,0/80 8-15-17 ······· 11-6-23 1537,5
3: Senpai 2.0 x64.................33,5/80 6-14-20 6-11-23 ······· 1442,5


Empecé un torneo en el que participara la red 11260, pero tras ver la enorme diferencia de nivel, lo cancelé para empezar uno más interesante. Quedó de esta manera:

Engine.........................Score...Lc....Fr...Lc....S-B
1: Lc0 18.1 GPU id11260-4773...8,5/9 ····· 3-0-1 5-0-0 18,75
2: Fritz 15....................2,5/8 0-3-1 ····· 1-1-2 8,25
3: Lc0 18.1 GPU id22030-4168...2,0/9 0-5-0 1-1-2 ····· 5,00


Estaba claro que no tenía mucho sentido proseguir. Ya con el ritmo de 15/2, actualmente está en marcha un torneo entre la red 11260, la red 21601, la red 22030 y Komodo 9.1 x64, a 20 vueltas con la misma base de partidas, 2 colores, etc. El objetivo es ver el rendimiento de las versiones opencl de esas redes y su capacidad contra Komodo 9.1 x64 y entre ellas mismas.
usuario fics: alvaroi

Responder