|
|
 17.10.2020, 12:35
|
#7141 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
 Re: LCZero
Match: gauntlet of SF Dev 20092822 4CPU vs Lc0 J92-270/260/240/220/210/190 (S19 SuFi1 MLH) + Cfish NNUE + SF11
Lc0-version: v0.26.2 + v0.26.3 (J92-270/260) Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 SF-version: Stockfish 20092822 x64 bmi2 (date: 28.09.2020) SF/Cfish-options: threads=4 hash=2048 MB, contempt=24, NNUE=true, net=nn-baeb9ef2d183.nnue (default) Time control: 5min + 5s Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (8 threads with HT on), mobile Geforce GTX 1050 TI 4GB Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed Tablebases: Syzygy 5-men on SSD Speed: J92: 961 nps, SF Dev NNUE 4CPU: 3680k nps Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication Software: Arena 3.5.1, ponder = off Elo rating: Ordo 1.2.6 Comments: J92-270 added. The table includes the ERET test results (60s time limit).
Код:
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) ERET test 1 Cfish-NNUE 071020_4CPU : 7.1 20.4 51.0 100 51.0 75 2 98 0 98.0 96/111 2 Stockfish_20092822_4CPU : 0.0 ---- 463.5 800 57.9 100 135 657 8 82.1 95/111 3 Lc0.net.JH.J92-260 : -49.7 25.4 43.0 100 43.0 58 1 84 15 84.0 81/111 4 Lc0.net.JH.J92-270 : -53.3 25.3 42.5 100 42.5 50 1 83 16 83.0 81/111 <= NEW 5 Lc0.net.JH.J92-210 : -53.3 26.0 42.5 100 42.5 77 1 83 16 83.0 81/111 6 Lc0.net.JH.J92-220 : -67.8 28.1 40.5 100 40.5 57 2 77 21 77.0 79/111 7 Lc0.net.JH.J92-190 : -71.5 29.4 40.0 100 40.0 57 1 78 21 78.0 79/111 8 Lc0.net.JH.J92-240 : -75.2 29.7 39.5 100 39.5 76 0 79 21 79.0 80/111 9 Stockfish_11_4CPU : -90.1 31.2 37.5 100 37.5 --- 0 75 25 75.0 91/111 |
 |
|
| 3 пользователя(ей) сказали cпасибо: |
|
17.10.2020, 12:39
|
#7142 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Hardware: i7-8770K CPU @ 3.70GHz, 6 cores (12 Threads), 32GB, Gpu - RTX 2080
Gauntlet: SF-dev vs. LC0 30x384 net Network IDs: Lc0 J92-260, Lc0 J92-270 LC0-version: v0.26.3 (Around 50% faster than Lc0 26.2 with ancient drivers) SF-version: SF-dev 5th Oct (NNUE hybrid) Software: Cutechess-CLI Time control: LC0: Fixed 1000 nodes per move @ 1 Thread & Default settings, SF-dev: Fixed 350000 nodes per move @ 4 Threads & 64 MB Hash. Book: 8moves_v3.pgn (SF Regression book at LTC) Tablebases: 6-men Synergy WDL with TB Adjudication Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000 Ordo: ordo-win64.exe -Q -N "1,1" -D -a 0 -A "Stockfish_Dev4T" -W -n4 -s5000 -p games.pgn -U "0,1,2,3,4,5,6,7,8,9,10" -o rating.txt Comment: No statistically significant difference between Jh-260 & Jh-270 (CFS is in mid 60's). This was my first Cute-Cli Command line test. Special thanks to @hv , @glbchess64 et al for helping me setup one.
Код:
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 Lc0 Jh 270 : 6.5 4.3 5091.5 10000 50.9 66 2034 6115 1851 61.1 2 Lc0 Jh 260 : 5.2 4.3 5073.5 10000 50.7 99 2013 6121 1866 61.2 3 Stockfish_Dev_4T : 0.0 ---- 9835.0 20000 49.2 --- 3717 12236 4047 61.2 White advantage = 37.34 +/- 1.52 Draw rate (equal opponents) = 62.12 % +/- 0.35 https://pixeldrain.com/u/GonqM9jm |
| |
|
| 3 пользователя(ей) сказали cпасибо: |
|
17.10.2020, 12:42
|
#7143 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
------
Match Gauntlet LC0-version: lc0-v0.26.3 cudnn-version LC0 options: Standard option except Threads=1, NNCacheSize=0, MinibatchSize=1. Time control: 1 Node/move Hardware: i7-4790 with 16 GByte RAM + GTX1650 Speed: Not important for this type of testing. Book: Chad-opening book with 100 000 different openings with the most popular human openings. Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black. Tablebases: No Tablebases. Adjudication: Only 5-men syzygy Software: CuteChess 1.2.0 https://github.com/cutechess/cutechess/releases / Graphic tools is programmed by glbchess64, in Python programming tools. Comment: This is result out of Ordo 1.2.6 https://github.com/michiguel/Ordo/releases/tag/v1.2.6 Ordo string: ordo.exe -Q -N 0 -D -a 0 -A "J92-145" -W -n4 -s500 -G -V -U "0,1,2,3,4,5,6,7,8,9,10" -j stats.txt -o rating.txt -p games.pgn Results: pgn-file: https://ufile.io/h725lwfk Explanation: Trying to find the best net in clean policy Elo.
Код:
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 J92-260 : 11 1 103056.0 200000 51.5 100 66464 73184 60352 36.6 2 J92-145 : 0 1 96944.0 200000 48.5 --- 60352 73184 66464 36.6 White advantage = 26.30 +/- 0.57 Draw rate (equal opponents) = 36.78 % +/- 0.10
Код:
My list until now (Elo against J92-145) 1 Node/move: J92-260: 11 Elo (Test with 200k games) J92-240: 8 Elo (Test with 200k games) J92-210: 5 Elo (Test with 200k games) J92-220: 3 Elo (Test with 200k games) J92-205: 3 Elo (Test with 200k games) J92-230: 2 Elo (Test with 200k games) J92-190: 1 Elo (Test with 200k games) J92-145: 0 Elo (Reference) J92-100: -2 Elo (Test with 200k games) |
| |
|
| 3 пользователя(ей) сказали cпасибо: |
|
17.10.2020, 12:44
|
#7144 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position LC0-version: v0.21.2 up to v0.26.3 LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256 MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 AB engine options: threads=4, hash=4096 MB hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT) software: Arena GUI, "Automatic Analysis" feature with EPD file. Tablebases: Syzygy 5-men on SSD Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip Results (solutions, percent):
Код:
A) CPU engines (mobile i7-7700HQ 4x2.8GHz): Cfish 161020 NNUE 4CPU : 97 = 87.4% <== new, *net: nn-04cf2b4ed1da.nnue* Stockfish 20101419 NNUE 4CPU : 96 = 86.5% <== new, *net: nn-04cf2b4ed1da.nnue* Stockfish 20092822 NNUE 4CPU : 95 = 85.6% ** TCEC S19 Champion ** (net: nn-baeb9ef2d183.nnue) CorChess NNUE 1.3_201008 4CPU : 94 = 84.7% <== new, *net: nn-baeb9ef2d183.nnue* Stockfish 12 4CPU (NNUE) : 94 = 84.7% *net: nn-82215d0fd0df.nnue* BrainFish_200724_4CPU : 92 = 82.9% *last version before NNUE support is added* Stockfish 20073110 4CPU : 92 = 82.9% *last version before NNUE support was added* Stockfish 11 4CPU : 91 = 82.9% Stockfish 10 4CPU : 90 = 81.1% Komodo-13.2.5_4CPU : 88 = 79.3% Komodo 11.01 4CPU (freeware) : 84 = 75.7% Nemorino 6.00 NNUE 4CPU : 77 = 69.4% <== new, *net: nemorino_net_6.nnue* SlowChess Classic 2.2 4CPU : 77 = 69.4% Xiphos 0.6 4CPU : 76 = 68.4% Ethereal 12.75 pext-avx2 4CPU : 73 = 65.8% <== new Igel 2.8.0 NNUE 4CPU : 72 = 64.9% *default net (night nurse v0.2.5b)* Laser 1.7 4CPU : 72 = 64.9% Komodo-MCTS-13.2.5_4CPU : 62 = 55.9% Lc0.net.703350-blas_4CPU : 60 = 54.1% Lc0.net.591003-blas_kiudee_4CPU : 60 = 54.1% Fire 7.1 4CPU : 60 = 54.1% Lc0.net.11258-112x9se_blas_4CPU : 59 = 53.2% Lc0.net.DK.Bad_Gyal_7_blas_4CPU : 57 = 51.4% Lc0.net.LD2_blas_4CPU (10x128) : 56 = 50.4% |
| |
|
|
17.10.2020, 14:21
|
#7145 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Цитата: Сообщение от Владимир001
Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position LC0-version: v0.21.2 up to v0.26.3 LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256 MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 AB engine options: threads=4, hash=4096 MB hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT) software: Arena GUI, "Automatic Analysis" feature with EPD file. Tablebases: Syzygy 5-men on SSD Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip Results (solutions, percent):
Код:
A) CPU engines (mobile i7-7700HQ 4x2.8GHz): Cfish 161020 NNUE 4CPU : 97 = 87.4% <== new, *net: nn-04cf2b4ed1da.nnue* Stockfish 20101419 NNUE 4CPU : 96 = 86.5% <== new, *net: nn-04cf2b4ed1da.nnue* Stockfish 20092822 NNUE 4CPU : 95 = 85.6% ** TCEC S19 Champion ** (net: nn-baeb9ef2d183.nnue) CorChess NNUE 1.3_201008 4CPU : 94 = 84.7% <== new, *net: nn-baeb9ef2d183.nnue* Stockfish 12 4CPU (NNUE) : 94 = 84.7% *net: nn-82215d0fd0df.nnue* BrainFish_200724_4CPU : 92 = 82.9% *last version before NNUE support is added* Stockfish 20073110 4CPU : 92 = 82.9% *last version before NNUE support was added* Stockfish 11 4CPU : 91 = 82.9% Stockfish 10 4CPU : 90 = 81.1% Komodo-13.2.5_4CPU : 88 = 79.3% Komodo 11.01 4CPU (freeware) : 84 = 75.7% Nemorino 6.00 NNUE 4CPU : 77 = 69.4% <== new, *net: nemorino_net_6.nnue* SlowChess Classic 2.2 4CPU : 77 = 69.4% Xiphos 0.6 4CPU : 76 = 68.4% Ethereal 12.75 pext-avx2 4CPU : 73 = 65.8% <== new Igel 2.8.0 NNUE 4CPU : 72 = 64.9% *default net (night nurse v0.2.5b)* Laser 1.7 4CPU : 72 = 64.9% Komodo-MCTS-13.2.5_4CPU : 62 = 55.9% Lc0.net.703350-blas_4CPU : 60 = 54.1% Lc0.net.591003-blas_kiudee_4CPU : 60 = 54.1% Fire 7.1 4CPU : 60 = 54.1% Lc0.net.11258-112x9se_blas_4CPU : 59 = 53.2% Lc0.net.DK.Bad_Gyal_7_blas_4CPU : 57 = 51.4% Lc0.net.LD2_blas_4CPU (10x128) : 56 = 50.4%
Код:
B) GPU engines (mobile Geforce GTX 1050 TI 4GB): Lc0.net.65162 (24x320) : 83 = 74.8% *current record for T60 nets* Lc0-0.22.0-dev.Leelenstein 14.3 : 83 = 74.8% Lc0.net.JH.J92-270 (30x384) : 81 = 73.0% <== new, *record for 384x30 nets* Lc0.net.JH.J92-260 (30x384) : 81 = 73.0% <== new, *record for 384x30 nets* Lc0.net.JH.J92-210 (30x384) : 81 = 73.0% *record for 384x30 nets* Lc0.net.JH.J92-240 (30x384) : 80 = 72.1% Lc0.net.JH.J92-250 (30x384) : 79 = 71.2% <== new Lc0.net.JH.J92-230 (30x384) : 79 = 71.2% Lc0.net.JH.J92-220 (30x384) : 79 = 71.2% Lc0.net.JH.J92-205 (30x384) : 79 = 71.2% Lc0.net.JH.J92-190 (30x384) : 79 = 71.2% ** TCEC S19 SuFi net ** Lc0.net.JH.J92-180 (30x384) : 78 = 70.3% Lc0.net.JH.J92-170 (30x384) : 78 = 70.3% Lc0.net.JH.J92-160 (30x384) : 78 = 70.3% Lc0.net.64460 (24x320) : 77 = 69.4% Allie-v0.7.Leelenstein 14.3 : 77 = 69.4% Lc0.net.65411 : 76 = 68.4% <== new Lc0.net.65297 : 76 = 68.4% <== new Lc0.net.42810 : 76 = 68.4% Lc0.net.JH.J92-100 (30x384) : 75 = 67.6% ** TCEC S19 DivP net ** Lc0.net.SV.384x30-T60-4619 : 75 = 67.6% Lc0.net.SV.384x30-T60-4229 : 75 = 67.6% ** TCEC Cup 6 net ** Lc0.net.JH.T40B.4-160 : 75 = 67.6% ** S16 DivP net ** Lc0.net.JH.T40B.4-260 : 75 = 67.6% Lc0.net.703810 (10x128) : 75 = 67.6% Lc0.net.SV.384x30-T60-4585 : 74 = 66.7% Lc0.net.JH.J13B.2-136 (24x320) : 74 = 66.7% *Terminator 2 net* Lc0.net.SV.256x20-T40-1541 : 74 = 66.7% Lc0.net.591003_kiudee (10x128) : 74 = 66.7% Lc0.net.42850 : 73 = 65.8% Lc0.net.11248 : 69 = 62.2% Lc0.net.LD2 (10x128) : 67 = 60.4% Lc0.net.32930 : 66 = 59.4% Lc0.net.DK.Bad_Gyal_9 (10x128) : 65 = 58.6% |
| |
|
| Пользователь сказал cпасибо: |
Jeweller (17.10.2020)
|
|
17.10.2020, 17:09
|
#7149 |
|
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,023
Сказал(а) спасибо: 2
Поблагодарили 652 раз(а) в 326 сообщениях
Репутация: 73
|
Re: LCZero
Цитата: Сообщение от svoitsl
То есть она для эндшпилей что ли?
Возникла идея, что Лила сможет играть лучше, если у нее будет несколько сетей, которые меняются по ходу игры Сначала играет одна сеть, когда начинается эндшпиль - подгружается другая сеть. И тренируются они отдельно Есть даже идея натренировать одну сеть для распространенных дебютов, а отдельную - для редких |
| |
|
|
17.10.2020, 17:31
|
#7151 |
|
Гроссмейстер
Регистрация: 30.05.2018
Адрес: Севастополь
Сообщений: 3,281
Сказал(а) спасибо: 53
Поблагодарили 4,208 раз(а) в 2,174 сообщениях
Репутация: 124
|
Re: LCZero
Да эти идеи и к стокфишу применимы, так то.
Но пока как-то никто не занимается этим. Хотя... Фактически у нас же есть нейросеть для позиций, где по материалу баланс, и ручная оценка для позиций, где его нет. То есть, можно сказать, что в стокфише есть 2 нейросети для разных типов позиций, 1 правда не нейросеть и более быстрая поэтому.
__________________
Развернуть для просмотра
[свернуть]
|
| |
|
|
17.10.2020, 17:45
|
#7152 |
|
2 разряд
Регистрация: 24.01.2018
Сообщений: 255
Сказал(а) спасибо: 374
Поблагодарили 257 раз(а) в 121 сообщениях
Репутация: 38
|
Re: LCZero
Цитата: Сообщение от Владимир001
Первые 100 игр.
есть нюанс - [в этом турнире] сети лилы равны по силе последним стокам, а не находятся между ними и стоком-классик, т.е. возможное сжатие в таких условиях может быть "уполовинено", но тем не менее |
| |
|
|
17.10.2020, 20:53
|
#7153 |
|
2 разряд
Регистрация: 24.01.2018
Сообщений: 255
Сказал(а) спасибо: 374
Поблагодарили 257 раз(а) в 121 сообщениях
Репутация: 38
|
Re: LCZero
небольшой тест-иллюстрация на тему
"разные рейтинговые характеристики движков, эффекты сжатия/растяжения разницы в силе" Time: 10s+0,1s / CuteChess 1.2.0 / Threads: 1 / Concurrency=1 / Hash: 256Mb / 5-men Syzygy Book: SuperGM_4mvs / Adjudication: Resign mc=3 sc=700, Draw mn=80 mc=10 sc=20, 5-men Syzygy
Код:
Program Elo + - Games Score Av.Op. Draws 1 Murka 2.0 x64 : 186 33 33 400 67.8 % 57 17.0 % 2 Spark 1.0 KA1000 : 95 32 32 400 48.9 % 102 12.8 % 3 Magician 2017-T x64 : 20 33 33 400 33.4 % 140 15.8 % Individual statistics: 1 Murka 2.0 x64 : 186 400 (+237,= 68,- 95), 67.8 % Spark 1.0 KA1000 : 200 (+104,= 28,- 68), 59.0 % Magician 2017-T x64 : 200 (+133,= 40,- 27), 76.5 % 2 Spark 1.0 KA1000 : 95 400 (+170,= 51,-179), 48.9 % Magician 2017-T x64 : 200 (+102,= 23,- 75), 56.8 % Murka 2.0 x64 : 200 (+ 68,= 28,-104), 41.0 % 3 Magician 2017-T x64 : 20 400 (+102,= 63,-235), 33.4 % Spark 1.0 KA1000 : 200 (+ 75,= 23,-102), 43.2 % Murka 2.0 x64 : 200 (+ 27,= 40,-133), 23.5 % Murka-Magician = 205,0 Murka-Spark = 63,2 Spark-Magician = 47,2 таким образом, измерение через третий движок Спарк дает разницу Murka-Magician = 110,4 коэф сжатия 0,539, разница в силе сокращается в 1,85 раза |
| |
|
| Пользователь сказал cпасибо: |
Владимир001 (17.10.2020)
|
|
17.10.2020, 21:08
|
#7154 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Код:
Score of J92-270 vs J92-145: 9263 - 7936 - 9995 [0.524] ... J92-270 playing White: 5063 - 3383 - 5151 [0.562] 13597 ... J92-270 playing Black: 4200 - 4553 - 4844 [0.487] 13597 ... White vs Black: 9616 - 7583 - 9995 [0.537] 27194 Elo difference: 17.0 +/- 3.3, LOS: 100.0 %, DrawRatio: 36.8 % 27194 of 200000 games finished. |
| |
|
|
17.10.2020, 23:21
|
#7156 |
|
Гроссмейстер
|
Re: LCZero
Код:
Score of Lc0 v0.26.3 J92-270 vs Lc0 v0.24.1 LS 14.3: +4 -23 =73 [0.405] 100 ... Lc0 v0.26.3 J92-270 playing White: 3 - 9 - 38 [0.440] 50 ... Lc0 v0.26.3 J92-270 playing Black: 1 - 14 - 35 [0.370] 50 ... White vs Black: 17 - 10 - 73 [0.535] 100 Elo difference: -66.8 +/- 34.2, LOS: 0.0 %, DrawRatio: 73.0 % Lc0 v0.24.1 LS 14.3 = 3000 nodes/ход 
__________________
Тесты сетей NNUE теперь на Фиштесте |
| |
|
| Пользователь сказал cпасибо: |
Alvir (17.10.2020)
|
|
18.10.2020, 01:18
|
#7157 |
|
Гроссмейстер
|
Re: LCZero
Код:
Score of Lc0 v0.26.3 J92-280 vs Lc0 v0.24.1 LS 14.3: +18 -17 =65 [0.505] 100 ... Lc0 v0.26.3 J92-280 playing White: 14 - 7 - 29 [0.570] 50 ... Lc0 v0.26.3 J92-280 playing Black: 4 - 10 - 36 [0.440] 50 ... White vs Black: 24 - 11 - 65 [0.565] 100 Elo difference: 3.5 +/- 40.4, LOS: 56.7 %, DrawRatio: 65.0 % Lc0 v0.24.1 LS 14.3 = 3000 nodes/ход
__________________
Тесты сетей NNUE теперь на Фиштесте |
| |
|
| Пользователь сказал cпасибо: |
Alvir (18.10.2020)
|
|
18.10.2020, 08:44
|
#7158 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Match: T73 vs T70 best network
Lc0-version: 26.1 Lc0 options: FpuStrategy="reduction" FpuValue=0.23 FpuStrategyAtRoot="absolute" FpuValueAtRoot=1.0 CPuct=1.3 CPuctAtRoot=1.9 PolicyTemperature=1.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.0007 MovesLeftQuadraticFactor=0.85 MovesLeftScaledFactor=0.15 MovesLeftConstantFactor=0.0 MoveOverheadMs=0 Time/Node control: 2+0.04s Hardware: RTX 2080, AMD 2950X Book: book-ply12-unifen-Q-0.0-0.4.pgn, random with reverse. Tablebases: 6-man Syzygy Adjudication: 6-man Syzygy and -draw movenumber=50 movecount=6 score=10 -resign movecount=5 score=500 twosided=true Chess Interface: cutechess-cli, time forfeit disabled Comments: Ongoing test to see if the added blocks in T73 (128x14b) improve or degrade performance relative to T70 (128x10b). [Not properly comparable, but FYI T70 gained 127 self-Elo after the current T73 LR (0.004).] Results:
Код:
# PLAYER : RATING ERROR POINTS PLAYED (%) W L D D(%) CFS(%) 1 lc0.net.703810 : 0.0 ---- 7494.5 12000 62 3805 816 7379 61 100 2 lc0.net.730173 : -80.4 9.3 777.0 2000 39 161 607 1232 62 51 << new 3 lc0.net.730153 : -80.6 9.5 776.5 2000 39 155 602 1243 62 97 4 lc0.net.730131 : -92.0 6.5 1492.5 4000 37 258 1273 2469 62 61 5 lc0.net.730112 : -93.6 9.4 742.0 2000 37 113 629 1258 63 92 6 lc0.net.730096 : -103.0 9.5 717.5 2000 36 129 694 1177 59 --- |
| |
|
| 2 пользователя(ей) сказали cпасибо: |
Viktor (18.10.2020), Виталий В. (18.10.2020)
|
|
18.10.2020, 14:55
|
#7159 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Match: combined results (314 positions) of ERET test + Vesely 203 positions testset
time control: analysis with time limit of 60s per move/position AB engine options: threads=4, hash=4096 MB Lc0-version: v0.26.2 + v0.26.3 LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256 MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 hardware: notebook with mobile i7-7700HQ 4x2.8GHz, mobile Geforce GTX 1050 TI 4GB software: Arena GUI, "Automatic Analysis" feature with EPD file (Vesely_testsuiteLC0.epd). Tablebases: Syzygy 5-men on SSD Comments: For J92 so far those results fit nicely to the results of the test gauntet against SF Dev at 5min+5s TC (280 not tested there yet).
Код:
A) CPU engines (mobile i7-7700HQ 4x2.8GHz): Cfish 161020 NNUE 4CPU : 280/314 = 89.2% <== new, *net: nn-04cf2b4ed1da.nnue* B) GPU engines (mobile Geforce GTX 1050 TI 4GB): Lc0.net.JH.J92-280 (30x384) : 220/314 = 70.0% <== new Lc0.net.JH.J92-260 (30x384) : 218/314 = 69.4% <== new Lc0.net.JH.J92-270 (30x384) : 217/314 = 69.1% <== new Lc0.net.JH.J92-210 (30x384) : 216/314 = 68.8% Lc0.net.JH.J92-240 (30x384) : 215/314 = 68.5% Lc0-0.22.0-dev.Leelenstein 14.3 : 215/314 = 68.5% Lc0.net.JH.J92-190 (30x384) : 214/314 = 68.2% ** TCEC S19 SuFi net ** Lc0.net.65162 : 213/314 = 67.8% Lc0.net.65411 : 205/314 = 65.3% <== new |
| |
|
| Пользователь сказал cпасибо: |
Alvir (19.10.2020)
|
|
18.10.2020, 20:14
|
#7160 |
|
Гроссмейстер
|
Re: LCZero
Код:
Score of Lc0 v0.26.3 J92-280 vs Lc0 v0.26.3 LS 15: +11 -20 =69 [0.455] 100 ... Lc0 v0.26.3 J92-280 playing White: 9 - 5 - 36 [0.540] 50 ... Lc0 v0.26.3 J92-280 playing Black: 2 - 15 - 33 [0.370] 50 ... White vs Black: 24 - 7 - 69 [0.585] 100 Elo difference: -31.4 +/- 37.8, LOS: 5.3 %, DrawRatio: 69.0 % Lc0 v0.26.3 LS 15 = 3000 nodes/ход У меня на моей GTX 1060 6GB скорость ровно в 3 раза выше для 256ой сетки, ну точне в 3,39 раза
__________________
Тесты сетей NNUE теперь на Фиштесте |
| |
|
| Пользователь сказал cпасибо: |
Alvir (19.10.2020)
|
|
18.10.2020, 21:01
|
#7161 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Opening Books
jhortos : Я медленно ставлю такие книги на https://github.com/jhorthos/lczero-t.../Opening-Books с Q для каждого "открытия" определяется T70 net 1k узлов. Пока что только 14 и 16 штучных книг, но скоро появятся и другие. Q удобен для настройки скорости розыгрыша. |
| |
|
|
19.10.2020, 15:12
|
#7163 |
|
Гроссмейстер
|
Re: LCZero
Цитата: Сообщение от Переяслав
Код:
Score of Lc0 v0.26.3 J92-280 vs Lc0 v0.26.3 LS 15: +11 -20 =69 [0.455] 100 ... Lc0 v0.26.3 J92-280 playing White: 9 - 5 - 36 [0.540] 50 ... Lc0 v0.26.3 J92-280 playing Black: 2 - 15 - 33 [0.370] 50 ... White vs Black: 24 - 7 - 69 [0.585] 100 Elo difference: -31.4 +/- 37.8, LOS: 5.3 %, DrawRatio: 69.0 % Lc0 v0.26.3 LS 15 = 3000 nodes/ход У меня на моей GTX 1060 6GB скорость ровно в 3 раза выше для 256ой сетки, ну точне в 3,39 раза
Код:
Score of Lc0 v0.26.3 J92-190 vs Lc0 v0.26.3 LS 15: +13 -16 =71 [0.485] 100 ... Lc0 v0.26.3 J92-190 playing White: 9 - 8 - 33 [0.510] 50 ... Lc0 v0.26.3 J92-190 playing Black: 4 - 8 - 38 [0.460] 50 ... White vs Black: 17 - 12 - 71 [0.525] 100 Elo difference: -10.4 +/- 36.7, LOS: 28.9 %, DrawRatio: 71.0 %
__________________
Тесты сетей NNUE теперь на Фиштесте |
| |
|
|
19.10.2020, 20:10
|
#7165 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Match: lc0.26.J92-270 vs Stockfish 12 4CPU - 100 rapid games
LC0-version: v26.0 cuda LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0 Time control: 15min + 5s (CCRL 40/15) Hardware: CPU i7-8700 4cores vs 1070Ti GPU Book: Custom short lines played from both sides (!sheet4 for opening list) Tablebase: 6 piece syzygy (DTZ + WDL) for both engines Software: Arena Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower) **Context: !sheet4 for test history
Код:
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L 1 Stockfish_12_x64-bmi2 : 3522.0 ---- 50.5 100 51 65 4 93 3 2 lc0.26.J92-270 : 3518.5 18.3 49.5 100 50 --- 3 93 4
Код:
lc0.26.J92-270 - Stockfish_12_x64-bmi2 : 49.5/100 3-4-93 (===0==========================1=====1================0===================0=0========1===============) 50% -> 3519 ordo
Код:
lc0.26.J92-190 - Stockfish_12_x64-bmi2 : 48.5/100 1-4-95 (=========0=========================================0=================0===0======================1===) 49% -> 3512 ordo |
| |
|
|
20.10.2020, 16:58
|
#7167 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Развернуть для просмотраTune of CPuct/FpuValue/PolicyTemperature LC0 version: v0.26.3 LC0 options: Network: J92-190, Threads=1, MinibatchSize=30, MaxPrefetch=15, MaxCollisionEvents=15, MaxOutOfOrderEvalsFactor=2.0, Backend=cuda-fp16, MoveOverheadMs=0, ScoreType=centipawn_2019, MLH: TCEC-SuFi S18 SF options: SF-dev, Threads=1, Hash=2, Contempt=0, "Move Overhead"=0, SyzygyProbeDepth=10 Tuning ranges: CPuct: [0;5], FpuValue [-0.5;1.5], PolicyTemperature [0.5;3.0] Tuning configuration: 4 separate tunings with different acq functions: mes/pvrs/ts/ei, rounds=5 and 1 tuning with CLOP: 10 games/iteration (equivalent to 5 rounds/iteration), 10000 games/tuning for each tuning session Hardware: Ryzen 9 3950X (3.5GHz) + RTX 2060 Time control: 1.2s/game+0.02s/move (LC0/SF) Speed: ≈200 nodes/move Book: balanced 3-move book Tablebases: 6-man Adjudication: 6-man TBs + -resign movecount=3 score=500, -draw movenumber=20 movecount=5 score=10 Software: chess-tuning-tools / CLOP Optimum found:
Код:
CTT.EI default CTT.TS CTT.MES CTT.PVRS CLOP CPuct 2.084 2.147 1.524 1.543 1.700 2.422 FpuValue 0.296 0.443 0.261 0.360 0.190 0.612 PolicyTemperature 1.602 1.607 1.866 1.729 1.303 1.711 Test gauntlet:
Код:
# ENGINE : RATING ERROR CFS(%) GAMES DRAWS(%) OppN 1 lc0.net.J92-190.CTT.EI : 0.4 7.0 54.3 10000 47.1 1 2 lc0.net.J92-190.default : 0.0 ---- 79.6 10000 46.7 1 3 lc0.net.J92-190.CTT.TS : -2.9 7.0 60.2 10000 47.0 1 4 lc0.net.J92-190.CTT.MES : -3.9 7.0 66.0 10000 46.0 1 5 lc0.net.J92-190.CTT.PVRS : -5.4 7.2 55.8 10000 47.9 1 6 lc0.net.J92-190.CLOP : -5.9 7.0 77.4 10000 46.5 1 7 stockfish-dev : -7.8 5.0 --- 60000 46.9 6 White advantage = 3.6 +/- 1.1 Draw rate (equal opponents) = 46.9 % +/- 0.2
Код:
Parameter Lower bound Upper bound ------------------------------------------- CPuct 1.6 5.0 FpuValue -0.0 1.5 PolicyTemperature 1.2 2.9   Tuning configuration: acq_functions: ts
Код:
Parameter Lower bound Upper bound ------------------------------------------- CPuct 1.1 4.3 FpuValue -0.1 1.3 PolicyTemperature 1.2 3.0   Настройка конфигурации: acq_functions: mes
Код:
Parameter Lower bound Upper bound ------------------------------------------- CPuct 0.6 4.9 FpuValue -0.12 1.14 PolicyTemperature 0.73 2.37   Настройка конфигурации: acq_functions: pvrs
Код:
Parameter Lower bound Upper bound ------------------------------------------- CPuct 0.5 4.7 FpuValue -0.23 1.39 PolicyTemperature 1.06 2.99   Настройка конфигурации: CLOP Комментарий: быстрая и стабильная конвергенция. -5.9+/-7.0 Elo к значениям по умолчанию.  
[свернуть]
|
| |
|
| Пользователь сказал cпасибо: |
Jeweller (20.10.2020)
|
|
21.10.2020, 13:33
|
#7168 |
|
Гроссмейстер
Регистрация: 19.12.2019
Сообщений: 2,376
Сказал(а) спасибо: 2,963
Поблагодарили 2,420 раз(а) в 1,179 сообщениях
Репутация: 102
|
Re: LCZero
Gauntlet: 703810 @ 100k nodes vs SF12 2T @ 2500k nodes, (with nodes-as-playouts=true)
Hardware: GTX 1660 Ti, Ryzen 3750H, 5-men syzygy Openings: TCEC 15,16,17,18,19 (250 pos.) SF 12: threads=2, hash=64 Lc0 26.3 cudnn-fp16 --show-hidden: --threads=1 --nodes-as-playouts=true --moves-left-max-effect=0.2 --moves-left-threshold=0.0 --moves-left-slope=0.004 --moves-left-scaled-factor=1.0 --moves-left-quadratic-factor=0 --moves-left-constant-factor=0 Base (default): --cpuct=2.147 --cpuct-at-root=2.147 --fpu-value=0.443 --policy-softmax-temp=1.607 zz (approx.): --cpuct=1.50 --cpuct-at-root=1.50 --fpu-value=0.38 --policy-softmax-temp=1.75 fixed-optimums: --cpuct=1.4 --cpuct-at-root=2.5 --fpu-value=0.5 --policy-softmax-temp=1.75 Adj.: draw 5 moves @5cp move 35, resign (two-sided) 5 moves @600cp Comments: zz settings were approximated by visual inspection from one of @zz4032 tunes. Fixed-optimums from @trre. Games: https://gofile.io/d/KYDqD7
Код:
# PLAYER : RATING ERROR PLAYED (%) CFS W D L D(%) 1 stockfish-12-2500k : 0.0 ---- 1500 51.37 56 359 823 318 54.87 2 lc0-26.3-703810-fixed-o : -1.5 18.4 500 49.80 79 112 274 114 54.80 3 lc0-26.3-703810-base : -13.7 21.3 500 48.20 56 107 268 125 53.60 4 lc0-26.3-703810-zz : -16.0 20.9 500 47.90 --- 99 281 120 56.20 Depth-statistics Engine Depth MIDG EARLY ENDG LATE lc0-26.3-703810-fixed-o 11.98 13.17 | 13.35 | 10.85 | 9.14 lc0-26.3-703810-zz 11.89 12.91 | 13.47 | 10.75 | 9.30 lc0-26.3-703810-base 11.28 12.24 | 12.77 | 10.22 | 8.58 stockfish-12-2500k 26.09 22.45 | 22.79 | 27.71 | 40.57 |
| |
|
| 3 пользователя(ей) сказали cпасибо: |
|
| Здесь присутствуют: 2 (пользователей: 1 , гостей: 1) | |
| Rom77 |
| Опции темы | |
| Опции просмотра | |
|
|
Линейный вид
