Evaluando Leela Chess Zero

Software, versiones y novedades
Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 04 Sep 2018 17:19

La partida Komodo 10-lc0 de la prueba anterior fue adjudicada automáticamente por Arena y esto se produjo cuando la evaluación estaba por debajo de -6.00, concretamente Komodo 10 se evaluaba tras 98. Cc1 -6.97/42 33. En un mensaje anterior comentaba que iba a subir a -9.00 este límite pero estas partidas ya estaban a medio jugarse.

He vuelto a jugar la partida Komodo 10-lc0 desde donde se quedó con el límite fijado en -9.00 y la adjudicación se ha producido de nuevo con la duda de si lc0 es capaz de ganar a pesar de la evaluación -16.04/34 de Komodo 10.

Aquí va la continuación


eltaki
Avanzado
Avanzado
Mensajes: 683
Registrado: 28 Ene 2013 21:41

Re: Evaluando Leela Chess Zero

Mensaje por eltaki » 05 Sep 2018 03:27

En la posición inicial sí juega lc0 1...d3 acaba rápido con Komodo.

Saludos

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 05 Sep 2018 22:23

eltaki escribió:
05 Sep 2018 03:27
En la posición inicial sí juega lc0 1...d3 acaba rápido con Komodo.

Saludos
Buena jugada, sí señor y los programas ni la ven.

Saludos
Javier

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 06 Sep 2018 00:55

Para las siguientes pruebas he cambiado el ritmo de juego de 60 movimientos en 5, 15 ó 30 minutos a ritmos con reloj de Fischer: 5 minutos más 3 segundos de bonificación, 25 minutos más 10 segundos y 90 minutos más 30 segundos. El motivo del cambio ha sido que aunque el promedio es de 5, 15 y 30 segundos por movimiento el programa Arena distribuye el tiempo (si se juega en la interfaz de Chessbase Fritz el reparto de tiempo es diferente) de forma que al llegar a los controles en 60, 120 y 180 movimientos se producen frecuentemente apuros de tiempo, que entiendo se deben a un mal reparto de tiempo.

Para evitar esto me quedaba la alternativa de tiempo fijo por movimiento, por ejemplo en el enfrentamiento entre AlphaZero y Stockfish 8 se usó un minuto por movimiento, o los controles son bonificación. Me he inclinado por el control con bonificación porque de esta forma los programas tienen más tiempo para las jugadas iniciales y conforme se les va acabando el tiempo inicial el promedio tiende al valor de la bonificación. Esto se produce de manera progresiva y evita los apuros de tiempo, además como las partidas están muy igualadas y resultan interminables, este ritmo de juego acelera el final de la partida.

Empiezo con el enfrentamiento entre Leela Chess Zero versión 0.17 red 11261 contra Stockfish 8 ritmo 5 minutos más 3 segundos. He utilizado las 12 aperturas estadísticamente más populares utilizadas en el enfrentamiento AlphaZero-Stockfish 8 para jugar 12x100=1200 partidas NO PUBLICADAS hasta el momento y donde A0 perdió 24, 886 tablas y ganó 290. El desglose de las partidas aparece en el siguiente cuadro sacado de este interesante artículo

https://www.peonderey.com/2018/01/16/informe-alphazero/

CapturaA012d.jpg
CapturaA012d.jpg (21.96 KiB) Visto 725 veces


El resultado ha sido un emocionante empate. A pesar de la aparente igualdad lc0 tomó ventaja posicional en el inicio de muchas partidas +1 ó +2 mientras Stockfish se consideraba en ligera desventaja (inferior a un peón) y al llegar al final lc0 no era capaz de ganar la partida. En particular en la partida 14 Stockfish8-lc0 1.e4 c5 2.Cf3 d6, lc0 llegó a evaluarse +8 en la jugada 62 con Stockfish -0.70 terminando en tablas. En los finales se aprecia que esta evaluación es frecuentemente incorrecta y mucho peor que la de Stockfish. Por otro lado, la evaluación y el juego posicional de lc0 es superior al de Stockfish.


Lc0server11261Stockfish8_5mas3HT6CPU1024 2018

1 Stockfish_8 ½½½ 1½½½ 1½½½½½½½½00½ 10½½½ 12.0/24
2 Lc01711261 ½½½0½½½0½½½½½½½½ 1 1½0 1½½½ 12.0/24



Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 08 Sep 2018 12:32

He repetido la prueba anterior a ritmo 25 minutos más 10 segundos de bonificación. Leela Chess Zero versión 0.17 red 11261 contra Stockfish 8. He utilizado las mismas doce aperturas.

El resultado ha sido ligeramente favorable a lc0.

Lc0server11261Stockfish8_25mas10HT6CPU10 2018

Lc01711261 ½½ 1½½½ 1½½½1½½01½½½½½½0½½ 13.0/24
Stockfish8 ½½0½½½0½½½0½½10½½½½½½1½½ 11.0/24

Finalmente he conseguido eliminar la variante principal y dejar las evaluaciones y profundidad de cálculo.
Esto ha ocasionado que el mensaje supere la limitación de 60000 caracteres, por lo que aquí van las doce primeras partidas y en el siguiente mensaje las doce restantes.

Son dignas de destacar las partidas que no terminaron en tablas que resultaron impresionantes, sobre todo las victorias de lc0 contra un rival tan sólido como Stockfish.

Última edición por Javier Ros el 08 Sep 2018 12:43, editado 3 veces en total.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 08 Sep 2018 12:33

Las doce partidas restantes

Última edición por Javier Ros el 08 Sep 2018 12:50, editado 2 veces en total.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 10 Sep 2018 17:44

Los resultados anteriores entre Lc017 Id 11261 y Stockfish8, que fueron 12-12 a ritmo 5 minutos más 3 segundos de bonificación y de 13-11 a favor de lc0 a ritmo 25 más 10, nos indican lo mucho que ha aprendido lc0 y como de forma increíble ha logrado igualar y superar por poco al número uno de los programas de ajedrez basados en algoritmo alfa-beta de hace un año.
Y digo de forma increíble, porque frente a los 6 millones de nodos por segundo de Stockfish 8 y una profundidad de 26 a 30 plies en el inicio de la partida tenemos los 2500 nodos por segundo y 8-10 plies de Leela Chess Zero, una diferencia radical que ha sido superada por el juego posicional de lc0. Cierto es que a lc0 le falta todavía mejorar en táctica y finales pero esto no empaña su juego que le permitía sacar ventaja en muchas partidas que luego no podía rematar.

Pues bien, la siguiente prueba es el enfrentamiento con Stockfish 9, actual número uno y que como veremos ha mejorado sensiblemente respecto a la versión 8.

Lc0server11261Stockfish9_5mas3HT6CPU1024

Stockfish9 10½½ 110½½½ 1½½½ 1½½ 1½½½½½1 14.5/24
Lc01711261 01½½001½½½0½½½0½½0½½½½½0 9.5/24

Nada menos que 5 puntos de ventaja le ha sacado Stockfish 9 que ha frenado a lc0 volviendo a inclinar la balanza a favor de los programas clásicos.
Aquí van las doce primeras y en el mensaje siguiente las doce restantes.
Última edición por Javier Ros el 10 Sep 2018 17:51, editado 5 veces en total.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 10 Sep 2018 17:45


Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 11 Sep 2018 21:14

El enfrentamiento entre Leela Chess Zero versión 0.17 red 11261 sobre ASUS GTX 1060 3Gb contra Houdini 6 Pro a ritmo 5 minutos más 3 segundos usando 6 hilos de los 8 del i7 4790S. Hash tables de 1Gb para ambos. He utilizado las 12 aperturas de pruebas anteriores.
Ha vencido Houdini 6 por la mínima, lo cual es un logro para lc0 con un ritmo de juego tan rápido. Ha resultado un duro enfrentamiento con mucha igualdad y 19 tablas, con 3 victorias para H6 y 2 para lc0.

Lc0server11261Houdini6Pro5mas3HT6CPU1024 2018

H6_Pro_ ½½½½½1½½0½01½½ 1½½½½½½½½½ 12.5/24
Lc01711261 ½½½½½0½½1½10½½0½½½½½½½½½ 11.5/24

Aquí van la primeras 12 partidas, las 12 restantes en el mensaje siguiente.

Última edición por Javier Ros el 11 Sep 2018 21:17, editado 1 vez en total.

Avatar de Usuario
Javier Ros
Avanzado
Avanzado
Mensajes: 592
Registrado: 20 Ene 2013 15:28
Ubicación: Sevilla

Re: Evaluando Leela Chess Zero

Mensaje por Javier Ros » 11 Sep 2018 21:14


Responder