Evaluando Leela Chess Zero

Software, versiones y novedades
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 600
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 01 Nov 2018 22:30

Interesantes experimentos.
Me alegra ver que las últimas series 22xyz van mejorando.
alvaroi escribió:
31 Oct 2018 21:55
La red 21927 se impone a Fritz 15 usando la versión CUDA, unas 3 veces más rápida en mi máquina.

Engine..............................Score....Lc......Fr......Se.....S-B
1: Lc0 18.1 CUDA id21927-4356.....47,5/80 ······· 15-8-17 14-6-20 1720,5
2: Fritz 15.......................39,0/80 8-15-17 ······· 11-6-23 1537,5
3: Senpai 2.0 x64.................33,5/80 6-14-20 6-11-23 ······· 1442,5


Empecé un torneo en el que participara la red 11260, pero tras ver la enorme diferencia de nivel, lo cancelé para empezar uno más interesante. Quedó de esta manera:

Engine.........................Score...Lc....Fr...Lc....S-B
1: Lc0 18.1 GPU id11260-4773...8,5/9 ····· 3-0-1 5-0-0 18,75
2: Fritz 15....................2,5/8 0-3-1 ····· 1-1-2 8,25
3: Lc0 18.1 GPU id22030-4168...2,0/9 0-5-0 1-1-2 ····· 5,00


Estaba claro que no tenía mucho sentido proseguir. Ya con el ritmo de 15/2, actualmente está en marcha un torneo entre la red 11260, la red 21601, la red 22030 y Komodo 9.1 x64, a 20 vueltas con la misma base de partidas, 2 colores, etc. El objetivo es ver el rendimiento de las versiones opencl de esas redes y su capacidad contra Komodo 9.1 x64 y entre ellas mismas.

alvaroi
Veterano
Veterano
Mensajes: 236
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 01 Nov 2018 23:14

Como curiosidad para aquellos que estén interesados en rendimientos CUDA, os dejo este enlace:

https://browser.geekbench.com/cuda-benchmarks
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 236
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 01 Nov 2018 23:17

En el blog de Leela publicaron recientemente una explicación bastante detallada del proceso de entrenamiento y de las diferentes familias de redes. --> http://blog.lczero.org/2018/10/lc0-training.html#more
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 236
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 03 Nov 2018 21:27

Finalizado el torneo, vemos que la red 11260, versión opencl, está muy cerca del nivel de Komodo 9.1. 11260 queda en primer puesto, a pesar de perder el encuentro con Komodo, por su mayor eficacia contra las otras redes de Lc0.

Engine................................Score....Lc.....Ko.....Lc.....Lc......S-B
1: Lc0 18.1 GPU id11260-4773.........42,0/60 ·······3-5-12 14-1-5 13-0-7 975,75
2: Komodo 9.1 x64....................41,5/60 5-3-12 ······ 8-1-11 14-0-6 1007,2
3: Lc0 18.1 GPU id22030-4168.........21,5/60 1-14-5 1-8-11 ······ 5-2-13 589,25
4: Lc0 18.1 GPU id21601-4624.........15,0/60 0-13-7 0-14-6 2-5-13 ······ 454,25


Para futuros torneos usaré el ritmo 15/1 y una base de aperturas seleccionadas para que haya más variedad. He preparado dos pgn, una base con 100 aperturas y una selección de esas 100, con 20. Hay de todo. Posiciones tranquilas, gambiteras, con ligera ventaja de uno u otro bando. Como se usará con los dos colores, me parece interesante ver cómo rinde Lc0 en todas esas situaciones con blancas y negras.

20 --> https://drive.google.com/open?id=1UzKYB ... uDm2ZhO0d5

100 --> https://drive.google.com/open?id=155Ma7 ... W-Pz9WXszD
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 236
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 20 Nov 2018 19:26

La red 3xxxx avanza rápido en el aprendizaje, y estará cerca de superar a la 11260. El último match contra Komodo 11 revela un buen avance de nivel. Tras conversación con Javier, decidimos medir rendimientos de máquina y ajustar para que los enfrentamientos sean más comparables. Como resultado, con la capacidad de la GPU con CUDA, corresponden 2 hilos del PC de pruebas, lo que favorece ligeramente a Lc0. En caso de aumentar a 3 hilos, quedaría el oponente muy favorecido. En cualquier caso, usaré 2 hilos mientras Lc0 pierda los matches, y pasaré a 3 cuando supere o se acerque mucho a Komodo/Stockfish.

En estas condiciones, con 2 hilos, ritmo 15/1, usando la base de 20 aperturas, a doble ronda, 40 partidas, Lc0 19.0 CUDA, el resultado fue:

Engine................................................Score.......Lc
1: Komodo 11.01 x64.......................22,0/40 12-8-20
2: Lc0 19.0 CUDA id31353-6215....18,0/40 ·······


Rendimientos
Lc0, posición inicial, 19.0 CUDA: 582.000 nodos/2 minutos = 4.850 nodos/s.
Komodo 11.01: 315.116.000 nodos/2 minutos = 2.625.966 nodos/s.

Aún me impresiona ver semejante avance en tan poco tiempo contra rivales de esta talla, que han necesitado muchos años para lograr jugar a este nivel.
usuario fics: alvaroi

alvaroi
Veterano
Veterano
Mensajes: 236
Registrado: 13 Ene 2013 22:52

Re: Evaluando Leela Chess Zero

Mensaje por alvaroi » 20 Nov 2018 20:07

El rendimiento de Stockfish 9: 388.591.000 nodos/2 minutos = 3.288.258 nodos/s.
usuario fics: alvaroi

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 600
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 01 Dic 2018 11:50

Las últimas versiones de la serie 11 de Leela Chess Zero son las más fuertes hasta el momento.
Disputé el siguiente match entre lc0 versión 0.19rc2 con la red 11261 contra Stockfish 8 para comparar con el rendimiento de AlphaZero en su famoso match. Para ello, si lc0 juega sobre una tarjeta gráfica GTX 1060 3Gb que calcula sobre 3300 nodos por segundo y a Stockfish le asignamos 2 núcleos lógicos de la CPU i7 4790S de los 8 que tiene, con los que Sf8 calcula 2.4 millones de nodos por segundo, se consigue un ratio LeR=1.2 lo que quiere decir una relación de velocidades parecida a la del match de AlphaZero.

He empleado para jugar las mismas 12 aperturas empleadas en aquel match (aparte de la posición inicial) con blancas y negras lo que proporciona 24 partidas. El ritmo de juego fue 25 minutos para toda la partida más 10 segundos de incremento.
El resultado ha sido de empate con una sola victoria por cada bando:

Lc019rc2_11261 24 (+ 1,= 22,- 1), 50%
Stockfish8 24 (+ 1,= 22,- 1), 50%

La victoria de Stockfish8 en la que lc0 llevó a tener cierta ventaja. Los fallos tácticos de lc0 siguen estando presentes todavía.



La victoria de lc0


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 600
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 08 Dic 2018 15:59

La serie 30 de Leela Chess Zero sigue avanzando pero no llega al nivel de la serie 10.
He jugado dos enfrentamientos para comparar:

Lc0_11261-Stockfish9
Lc0_11696-Stockfish9

Lc0 ha usado una GPU GTX1060 con 3Gb mientras Stockfish 9 ha usado tres núcleos del i7 4790S lo que resulta en un ratio LeR aproximado de 0.75. Lc0 juegó con tablebases de finales de 6 piezas, Stockfish9 no.
El ritmo ha sido de 25 minutos para toda la partida con incremento de 10 segundos.
He usado la Silver Suite de aperturas con 50 posiciones muy bien escogidas.

Mientras que la versión 11261 de Lc0 se impuso a Stockfish9 por muy poca diferencia 51.5%, Stockfish9 le dió a Lc0_31696 un correctivo con 27 victorias y 59.5%

Lc019rc4_11261TB 100 (+ 13,= 77,- 10), 51.5 %
Stockfish_9_x3 100 (+ 10,= 77,- 13), 48.5 %

Stockfish_9_x3 100 (+ 27,= 65,- 8), 59.5 %
Lc019_31696TB 100 (+ 8,= 65,- 27), 40.5 %

Las partidas de la serie 30 fueron un duelo "a garrotazos" donde la agresividad de Lc0_31696 salió malparada en numerosas ocasiones.

Aquí están todas las partidas en pgn

https://sites.google.com/site/unoallavo ... ects=0&d=1

https://sites.google.com/site/unoallavo ... ects=0&d=1

Comentaré algunas partidas de la serie 30. En la primera un fallido sacrificio de calidad de Lc031696 hace que Sf9 se imponga.



En la siguiente partida Lc031696 tuvo un comportamiento materialista no visto previamente y Stockfish9 remató la partida de forma espectacular.


Lc0 también enseñó los dientes, como en la siguiente con entrada en séptima fila y coronación de peón incluidas.


En la siguiente fue Stockfish9 quien metió un peón en sexta fila y venció



En la siguiente Lc0 ganó con uno de sus peones thorn en sexta fila.



Esta vez fue Sf9 el que llegó a sexta y séptima filas con peones en el enroque contrario, anunciando mate en 10 en la jugada 35.



Otro ataque salvaje de Sf9 con peones sobre el enroque de Lc0, anuncio de mate en 17 en la jugada 41.


Sf9 anuncia mate en 15 en la jugada 36 con otro peón en sexta! g6+

Responder