Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки

Ответ
 
Опции темы Опции просмотра
Старый 20.11.2020, 23:10   #7291
svoitsl
Гроссмейстер
 
Аватар для svoitsl
 
Регистрация: 19.04.2017
Сообщений: 3,873
Сказал(а) спасибо: 884
Поблагодарили 2,200 раз(а) в 1,502 сообщениях
Репутация: 108
По умолчанию Re: LCZero

Цитата: Сообщение от Владимир001
https://slides.com/crem/lc0#/17
За почти полтора года так и не обновилась, а ведь какие были надежды.
Да и тут Crem нечасто стал появляться.....
svoitsl вне форума   Ответить с цитированием
Старый 21.11.2020, 21:56   #7292
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

https://www.twitch.tv/navratil25
Владимир001 вне форума   Ответить с цитированием
Старый 21.11.2020, 22:03   #7293
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match Gauntlet
LC0-version: lc0-v0.26.3 cudnn-version

Развернуть для просмотра


LC0 options: Standard option except Threads=1, NNCacheSize=0, MinibatchSize=1.
Time control: 1 Node/move
Hardware: i7-4790 with 16 GByte RAM + GTX1650
Speed: Not important for this type of testing.
Book: Chad-opening book with 100 000 different openings with the most popular human openings.
Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black.
Tablebases: No Tablebases.
Adjudication: Only 5-men syzygy
Software: CuteChess 1.2.0 https://github.com/cutechess/cutechess/releases / Graphic tools is programmed by glbchess64, in Python programming tools.
Comment: This is result out of Ordo 1.2.6 https://github.com/michiguel/Ordo/releases/tag/v1.2.6
Ordo string: ordo.exe -Q -N 0 -D -a 0 -A "J92-145" -W -n4 -s500 -G -V -U "0,1,2,3,4,5,6,7,8,9,10" -j stats.txt -o rating.txt -p games.pgn
Results: pgn-file: https://ufile.io/ws14dp08
Explanation: Trying to find the best net in clean policy Elo.
Код:
   # PLAYER     :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W      D      L  D(%)
   1 J94-60     :      18      1  105104.0  200000  52.6     100  67958  74292  57750  37.1
   2 J92-145    :       0      1   94896.0  200000  47.4     ---  57750  74292  67958  37.1

White advantage = 28.72 +/- 0.57
Draw rate (equal opponents) = 37.42 % +/- 0.10
My list until now (Elo against J92-145) 1 Node/move:
Код:
White advantage = 23.98 +/- 0.57
Draw rate (equal opponents) = 36.51 % +/- 0.10
J92-310:             19     Elo    (Test with 200k games)
J94-60:              18     Elo    (Test with 200k games)
J92-320:             17     Elo    (Test with 200k games)
J92-270:             17     Elo    (Test with 200k games)
J92-330:             14     Elo    (Test with 200k games)
J92-280:             11     Elo    (Test with 200k games)
J92-260:             11     Elo    (Test with 200k games)
J92-290:             10     Elo    (Test with 200k games)
J92-240:              8     Elo    (Test with 200k games)
J94-40:               6     Elo    (Test with 117k games)
J92-210:              5     Elo    (Test with 200k games)
J92-220:              3     Elo    (Test with 200k games)
J92-205:              3     Elo    (Test with 200k games)
J92-230:              2     Elo    (Test with 200k games)
J92-190:              1     Elo    (Test with 200k games)
J92-145:              0     Elo    (Reference)
J92-100:             -2     Elo    (Test with 200k games)
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (21.11.2020), Виталий В. (22.11.2020)
Старый 21.11.2020, 22:06   #7294
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: J92/J94 vs SF-12 (16 threads)

Развернуть для просмотра


Hardware: RTX 3080, i9-10900kf
Time control: 5s + 0.5s (time forfeit disabled)
Openings: TCEC SuFi 10-19 (500 pos.)
Lc0 26.3 cuda-fp16: threads=2, move-overhead=0, mlh=on
minibatch-size: J92/94=204, ls-15=136, 66086=112
mlh tcec-19: moves-left-max-effect=0.2, moves-left-threshold=0, moves-left-slope=0.004, moves-left-scaled-factor=1, moves-left-quadratic-factor=0, moves-left-constant-factor=0
Stockfish 12 bmi2: threads=16, hash=256, move overhead=0
TBs and adj.: syzygy 5-men, draw 5 moves 5cp move 30, resign (two-sided) 5 moves 600cp
Comments: All J94 above J92-330, with J94-40 having much less losses (might be a statistical fluke). T60 catching on 384x30 nets here, and about on par with ls-15. J92-280 lags behind J92-330 and the J94's.
Games: https://gofile.io/d/iSDjXg
Код:
# PLAYER            :  RATING  ERROR  PLAYED  (%)   CFS    W     D     L   D(%)
1 lc0-263-j94-40    :    23.7    9.8   1000  53.20   70   210   644   146  64.40
2 lc0-263-j94-60    :    19.2   12.9   1000  52.60   73   220   612   168  61.20
3 lc0-263-j94-80    :    13.7   11.2   1000  51.85   58   211   615   174  61.50
4 lc0-263-j92-330   :    11.8   12.1   1000  51.60   69   202   628   170  62.80
5 lc0-263-j92-280   :     7.8    9.5   1000  51.05   92   200   621   179  62.10
6 stockfish-12-16T  :     0.0    4.1   8000  48.86   50  1417  4984  1599  62.30
7 lc0-263-j92-190   :     0.0   13.0   1000  50.00   65   173   654   173  65.40
8 lc0-263-66086     :    -4.1   11.6   1000  49.45   53   186   617   197  61.70
9 lc0-263-ls-15     :    -4.8   11.2   1000  49.35  ---   197   593   210  59.30

White advantage = 80.34 +/- 2.59
Draw rate (equal opponents) = 67.44 % +/- 0.57
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (21.11.2020), Виталий В. (22.11.2020)
Старый 21.11.2020, 22:11   #7295
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: Match of CorChess NNUE 4CPU against Lc0 66167

Развернуть для просмотра


Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: First T60 test at those conditions. ERET test results included in the table.
Код:
   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU :     0.0   ----   290.5     500  58.1     100   84  413    3  82.6  97/111
   2 Lc0.net.JH.J92-280            :   -46.1   25.5    43.5     100  43.5      71    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-40             :   -57.0   27.1    42.0     100  42.0      50    0   84   16  84.0  79/111
   4 Lc0.net.66167                 :   -57.0   26.2    42.0     100  42.0      58    1   82   17  82.0  82/111    <== NEW
   5 Lc0.net.JH.J94-60             :   -60.6   26.8    41.5     100  41.5      65    1   81   18  81.0  80/111
   6 Lc0.net.JH.J92-330            :   -67.9   27.9    40.5     100  40.5     ---    0   81   19  81.0  79/111
https://pixeldrain.com/u/1sdJ6VXS
[свернуть]
Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (22.11.2020)
Старый 21.11.2020, 22:14   #7296
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: lc0.26.J94-60 vs Stockfish 12 4CPU - 100 rapid games

Развернуть для просмотра


LC0-version: v26.0 cuda
LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0
Time control: 15min + 5s (CCRL 40/15)
Hardware: CPU i7-8700 4cores vs 1070Ti GPU
Book: Custom short lines played from both sides (!sheet4 for opening list)
Tablebase: 6 piece syzygy (DTZ + WDL) for both engines
Software: Arena
Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower)
Context: !sheet4 for test history

Ordo w/ comparison to previous scores:
Код:
   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.26.J92-300           :  3522.0   21.2    50.0     100    50      50    7   86    7
-  2 Stockfish_12_x64-bmi2    :  3522.0   ----   257.5     500    52      63   33  449   18
   3 lc0.26.J92-270           :  3518.5   21.1    49.5     100    50      68    3   93    4
   4 lc0.26.J92-330           :  3511.4   21.7    48.5     100    49      50    7   83   10
   5 lc0.26.J92-190           :  3511.4   21.0    48.5     100    49      88    1   95    4
+  6 lc0.26.J94-60  **new**   :  3493.7   22.9    46.0     100    46     ---    0   92    8
Код:
lc0.26.J94-60 - Stockfish_12_x64-bmi2 : 46.0/100 0-8-92 (===============0==0=============0====0===============================0===0===========0==========0===)  46%  -> 3494
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Maratka (21.11.2020), Виталий В. (22.11.2020)
Старый 23.11.2020, 00:53   #7297
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions

Развернуть для просмотра


Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position
LC0-version: v0.21.2 up to v0.26.3
LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
AB engine options: threads=4, hash=4096 MB
hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT)
software: Arena GUI, "Automatic Analysis" feature with EPD file.
Tablebases: Syzygy 5-men on SSD
Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip
Results (solutions, percent):
Код:
A) CPU engines (mobile i7-7700HQ 4x2.8GHz):
Crystal-NNUE_271020_4CPU        :  98 = 88.3%   *net: nn-eba324f53044.nnue*
CorChess NNUE 1.3_081120 4CPU   :  97 = 87.4%   *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE Pure 4CPU     :  97 = 87.4%   *Pure NNUE eval*, *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE 4CPU          :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
Stockfish 20111513 NNUE 4CPU    :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
CorChess NNUE 1.3_171120 4CPU   :  95 = 85.6%   *net: nn-c3ca321c51c9.nnue*
Cfish 151120 NNUE 4CPU          :  94 = 84.7%   *net: nn-c3ca321c51c9.nnue*
Stockfish 12 4CPU (NNUE)        :  94 = 84.7%   *net: nn-82215d0fd0df.nnue*
BrainFish_200724_4CPU           :  92 = 82.9%
Stockfish 20073110 4CPU         :  92 = 82.9%   *Stockfish Classic, last version before NNUE*
Stockfish 11 4CPU               :  91 = 82.9%
Stockfish 10 4CPU               :  90 = 81.1%
Komodo-13.2.5_4CPU              :  88 = 79.3%
Komodo 12.1.1 4CPU (freeware)   :  84 = 75.7%
RubiChess 1.8 NNUE 4CPU         :  84 = 75.7%   *net: nn-803c91ad5c-20201107.nnue*
SlowChess Blitz Cl. v2.4 4CPU   :  83 = 74.8%
Nemorino 6.00 NNUE 4CPU         :  77 = 69.4%   *net: nemorino_net_6.nnue*
Xiphos 0.6 4CPU                 :  76 = 68.4%
Ethereal 12.75 pext-avx2 4CPU   :  73 = 65.8%
Igel 2.8.0 NNUE 4CPU            :  72 = 64.9%   *net: night nurse v0.2.5b*
Laser 1.7 4CPU                  :  72 = 64.9%
Komodo-MCTS-13.2.5_4CPU         :  62 = 55.9%
Lc0.net.703350-blas_4CPU        :  60 = 54.1%
Fire 7.1 4CPU                   :  60 = 54.1%
Lc0.net.DK.Bad_Gyal_7_blas_4CPU :  57 = 51.4%
Lc0.net.LD2_blas_4CPU  (10x128) :  56 = 50.4%
Код:
B) GPU engines (mobile Geforce GTX 1050 TI 4GB):
Lc0-0.22.0-dev.Leelenstein 14.3 :  83 = 74.8%
Lc0.net.66167 (24x320)          :  82 = 73.9%   *slightly better than J94-60 against Corchess NNUE at 5min+5s TC*
Lc0.net.65981 (24x320)          :  82 = 73.9%   <== NEW, net recommended by @VictorSwell
Lc0.net.JH.J92-270  (30x384)    :  81 = 73.0%   ** TCEC Cup 7 net **
Lc0.net.JH.J92-260  (30x384)    :  81 = 73.0%
Lc0.net.JH.J92-280  (30x384)    :  80 = 72.1%   *best net against SF Dev + Corchess NNUE at 5min+5s TC*
Lc0.net.JH.J94-80  (30x384)     :  80 = 72.1%
Lc0.net.JH.J94-60  (30x384)     :  80 = 72.1%
Lc0.net.66205 (24x320)          :  80 = 72.1%   <== NEW
Lc0.net.66114 (24x320)          :  80 = 72.1%
Lc0.net.66000 (24x320)          :  80 = 72.1%
Lc0.net.65500 (24x320)          :  80 = 72.1%
Lc0.net.JH.J94-40  (30x384)     :  79 = 71.2%
Lc0.net.JH.J92-330  (30x384)    :  79 = 71.2%   ** TCCE S19 FRC2 + CCC Blitz Championship net **
Lc0.net.JH.J92-190  (30x384)    :  79 = 71.2%   ** TCEC S19 SuFi net **
Lc0.net.66250 (24x320)          :  79 = 71.2%   <== NEW, *latest tested T60 net*
Lc0.net.66233 (24x320)          :  79 = 71.2%   <== NEW
Lc0.net.JH.J92-320  (30x384)    :  78 = 70.3%   *parent net for J94 nets*
Lc0.net.JH.J92-310  (30x384)    :  77 = 69.4%   *best 1-node policy test*
Allie-v0.7.Leelenstein 14.3     :  77 = 69.4%
Lc0.net.JH.J92-100  (30x384)    :  75 = 67.6%   ** TCEC S19 DivP net **
Lc0.net.SV.384x30-T60-4619      :  75 = 67.6%
Lc0.net.JH.T40B.4-160           :  75 = 67.6%   ** S16 DivP net **
Lc0.net.703810  (10x128)        :  75 = 67.6%
Lc0.net.JH.J13B.2-136  (24x320) :  74 = 66.7%   *Terminator 2 net*
Lc0.net.SV.256x20-T40-1541      :  74 = 66.7%
Lc0.net.42850                   :  73 = 65.8%
Lc0.net.11248                   :  69 = 62.2%
Lc0.net.LD2          (10x128)   :  67 = 60.4%
Lc0.net.32930                   :  66 = 59.4%
Lc0.net.DK.Bad_Gyal_9  (10x128) :  65 = 58.6%
[свернуть]
Владимир001 вне форума   Ответить с цитированием
Старый 23.11.2020, 13:17   #7298
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: Gauntlet SF201028 vs J92-310

Развернуть для просмотра


Hardware: Geforce RTX 2070S & AMD Threadripper 3970X
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
SF options: Threads=23 Hash=4096
Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000
Software: cutechess-cli
Comments: Despite the SPRT test ranking J92-330 over J92-310, an ordo of J92-330 and J92-310 only gives a CFS of 99% in favour of J92-310. J92-330 was doing really well with the more common openings (first 75%), but then had problems with the final 25% of less common openings. An example of this is the Latvian Gambit, where all the other J92 nets that I tested had white wins for SF and Lc0, but J92-330 only managed a draw as white. I have attached the analysis of the openings as a spreadsheet.
Код:
   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
-  1 stockfish_201028    :     0.0   ----   518.0    1000  51.8      50   54  928   18
   2 lc0.net.J92-310     :     0.0   12.1   100.0     200  50.0      91    6  188    6
   3 lc0.net.J92-270     :   -12.3   12.7    96.5     200  48.3      65    3  187   10
+  4 lc0.net.J92-330     :   -15.8   13.1    95.5     200  47.8      58    1  189   10
   5 lc0.net.J92-190     :   -17.6   12.9    95.0     200  47.5      50    3  184   13
   6 lc0.net.J92-280     :   -17.6   12.7    95.0     200  47.5     ---    5  180   15

White advantage = 18.27 +/- 2.98
Draw rate (equal opponents) = 95.84 % +/- 0.86
2 файла:
https://pixeldrain.com/l/drgxAWrL#item=0
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (23.11.2020), Виталий В. (23.11.2020)
Старый 23.11.2020, 13:22   #7299
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

https://www.twitch.tv/navratil25

NN-testrun of Lc0 0.26.3 J94-80 finished: https://www.sp-cc.de/nn-vs-sf-testing.htm
Владимир001 вне форума   Ответить с цитированием
4 пользователя(ей) сказали cпасибо:
byan_mivv (23.11.2020), Jeweller (23.11.2020), Viktor (23.11.2020), Виталий В. (23.11.2020)
Старый 24.11.2020, 03:07   #7300
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра


Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:
Код:
   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      84   5592   10932   3476    55
   2 lc0.net.66148         :    35.9    3.2   10994.5   20000    55      58   5498   10993   3509    55
   3 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906   3565    55
   4 lc0.net.65988         :    34.8    3.3   10963.0   20000    55      50   5474   10978   3548    55
+  5 lc0.net.66234         :    34.8    3.2   10962.5   20000    55      51   5495   10935   3570    55
   6 lc0.net.66103         :    34.7    3.2   10961.0   20000    55      56   5449   11024   3527    55
   7 lc0.net.65762         :    34.4    3.1   10952.0   20000    55      65   5494   10916   3590    55
   8 lc0.net.65830         :    33.5    3.2   10927.5   20000    55      68   5457   10941   3602    55
   9 lc0.net.66053         :    32.4    3.3   10897.5   20000    54      71   5363   11069   3568    55
  10 lc0.net.65726         :    31.1    3.3   10862.0   20000    54      66   5317   11090   3593    55
Код:
  11 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924   3702    55
  12 lc0.net.65373         :    29.7    3.2   10822.0   20000    54      86   5360   10924   3716    55
  13 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      94   5255   10998   3747    55
  14 lc0.net.65374         :    23.7    3.2   10657.5   20000    53      90   5127   11061   3812    55
  15 lc0.net.T60B.7-135    :    20.8    3.1   10576.5   20000    53      63   4994   11165   3841    56
  16 lc0.net.T60B.7-105    :    20.0    3.3   10556.0   20000    53     100   4984   11144   3872    56
+ 17 lc0.net.62948         :     5.9    3.3   10163.0   20000    51      84   4400   11526   4074    58
  18 lc0.net.64255         :     3.6    3.1   10100.0   20000    51      99   4463   11274   4263    56
- 19 Stockfish.dev         :     0.0   ----  165975.0  360000    46     ---  66575  198800  94625    55
White advantage = 57.55 +/- 0.39
Draw rate (equal opponents) = 57.42 % +/- 0.09
PGN:
2 файла:
https://pixeldrain.com/l/Cbc5WNJL#item=0
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (24.11.2020), Виталий В. (24.11.2020)
Старый 24.11.2020, 12:47   #7301
Viktor
Эксперт
 
Аватар для Viktor
 
Регистрация: 07.06.2016
Сообщений: 5,039
Сказал(а) спасибо: 9,752
Поблагодарили 10,652 раз(а) в 3,869 сообщениях
Репутация: 621
По умолчанию Re: LCZero

У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается.
У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности.
В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав!
В шахматах Фишера это несоответствие еще больше!
Viktor на форуме   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
SergeyMZ (24.11.2020), Виталий В. (24.11.2020)
Старый 24.11.2020, 12:50   #7302
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: Match of CorChess NNUE 4CPU against Lc0 65981

Развернуть для просмотра


Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: With 65981 an earlier T60 net than 66167 was tested which had the same outstanding ERET test result. ERET test results included in the table.
Код:
   # PLAYER                           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU    :     0.0   ----   349.5     600  58.3     100  103  493    4  82.2  97/111
   2 Lc0.net.JH.J92-280               :   -46.1   24.3    43.5     100  43.5      72    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-40                :   -57.0   26.6    42.0     100  42.0      50    0   84   16  84.0  79/111
   4 Lc0.net.66167                    :   -57.0   28.1    42.0     100  42.0      57    1   82   17  82.0  82/111
   5 Lc0.net.JH.J94-60                :   -60.6   27.8    41.5     100  41.5      57    1   81   18  81.0  80/111
   6 Lc0.net.65981                    :   -64.2   28.2    41.0     100  41.0      57    1   80   19  80.0  82/111    <== NEW
   7 Lc0.net.JH.J92-330               :   -67.9   28.6    40.5     100  40.5     ---    0   81   19  81.0  79/111
https://pixeldrain.com/u/HwLTFyoR
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (24.11.2020), Виталий В. (24.11.2020)
Старый 24.11.2020, 13:03   #7303
Vizvezdenec
Гроссмейстер
 
Аватар для Vizvezdenec
 
Регистрация: 30.05.2018
Адрес: Севастополь
Сообщений: 3,443
Сказал(а) спасибо: 53
Поблагодарили 4,374 раз(а) в 2,269 сообщениях
Репутация: 143
По умолчанию Re: LCZero

Цитата: Сообщение от Viktor
У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается.
У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности.
В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав!
В шахматах Фишера это несоответствие еще больше!
Оба движка не точены под шахматы фишера.
На самом деле даже простейший тюнинг выходного слоя в стоке даёт существенный прирост эло для соответствующей книги, на которой он сделан:
https://tests.stockfishchess.org/tes...cbf42301d6b163
https://tests.stockfishchess.org/tes...cbf42301d6b175
И это же даже не переобучение.
На 100% уверен, что подобную вещь можно сделать и для FRC.
Поэтому на самом деле сделать стокфиш / лилу, которые будут куда лучше играть FRC, не так уж и сложно.
А текущие версии играют FRC (относительно) плохо, поэтому и расхождение больше - они куда как чаще неправы.
Ну вот даже в TCEC идёт бонус - сток в группе с элли, лилой и комодо слил 2 игры, причём одну белыми, в финале Лила за первые 8 игр слила 5 (!) - давно такое мы наблюдали в даже кривоватых дебютах?
__________________

Развернуть для просмотра

[свернуть]
Vizvezdenec вне форума   Ответить с цитированием
Старый 25.11.2020, 00:00   #7304
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: T60 recent Elo

Развернуть для просмотра


Lc0-version: 26.1
Lc0 options: option.SyzygyPath="C:/tb"
Time/Node control: 800 nodes per move
Hardware: RTX 2080, AMD 2950X
Book: book-ply12-unifen-Q-0.1-0.5.pgn, random with reverse.
Tablebases: 6-man Syzygy
Adjudication: 6-man Syzygy and -draw movenumber=50 movecount=6 score=10 -resign movecount=5 score=500 twosided=true
Chess Interface: cutechess-cli
Comments: Small Elo gain in recent T60, consistent with self-Elo.
Results:
Код:
   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)     W     L     D  D(%)  CFS(%)
   1 lc0.net.66260    :     6.2    4.0  5086.0   10000    51  1804  1632  6564    66     100
   2 lc0.net.65700    :     0.0   ----  4914.0   10000    49  1632  1804  6564    66     ---
https://pixeldrain.com/u/MjsESLKN
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (25.11.2020), Виталий В. (26.11.2020)
Старый 25.11.2020, 21:56   #7305
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: Match of CorChess NNUE 4CPU against Lc0 J94-80

Развернуть для просмотра


Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: J94-80 added. ERET test results included in the table.
Код:
 # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU :     0.0   ----   406.5     700  58.1     100  118  577    5  82.4  97/111
   2 Lc0.net.JH.J92-280            :   -46.2   25.1    43.5     100  43.5      58    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-80             :   -49.8   25.9    43.0     100  43.0      65    1   84   15  84.0  80/111    <== NEW
   4 Lc0.net.66167                 :   -57.0   26.9    42.0     100  42.0      50    1   82   17  82.0  82/111
   5 Lc0.net.JH.J94-40             :   -57.0   26.6    42.0     100  42.0      58    0   84   16  84.0  79/111
   6 Lc0.net.JH.J94-60             :   -60.6   26.6    41.5     100  41.5      57    1   81   18  81.0  80/111
   7 Lc0.net.65981                 :   -64.3   28.9    41.0     100  41.0      57    1   80   19  80.0  82/111
   8 Lc0.net.JH.J92-330            :   -67.9   28.9    40.5     100  40.5     ---    0   81   19  81.0  79/111
[свернуть]
Вложения
Тип файла: zip J94-80_vs_Corchess_NNUE_5min5s.zip (598.6 Кб, 4 просмотров)
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (25.11.2020), Виталий В. (26.11.2020)
Старый 26.11.2020, 05:54   #7306
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра


Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234, 66275
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:
Код:
   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D       L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      84   5592   10932    3476    55
   2 lc0.net.66148         :    35.9    3.1   10994.5   20000    55      58   5498   10993    3509    55
   3 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906    3565    55
   4 lc0.net.65988         :    34.8    3.2   10963.0   20000    55      50   5474   10978    3548    55
   5 lc0.net.66234         :    34.8    3.2   10962.5   20000    55      51   5495   10935    3570    55
   6 lc0.net.66103         :    34.7    3.2   10961.0   20000    55      56   5449   11024    3527    55
   7 lc0.net.65762         :    34.4    3.2   10952.0   20000    55      57   5494   10916    3590    55
+  8 lc0.net.66275         :    34.0    3.3   10940.5   20000    55      58   5406   11069    3525    55
   9 lc0.net.65830         :    33.5    3.3   10927.5   20000    55      68   5457   10941    3602    55
  10 lc0.net.66053         :    32.4    3.2   10897.5   20000    54      71   5363   11069    3568    55
  11 lc0.net.65726         :    31.1    3.2   10862.0   20000    54      66   5317   11090    3593    55
  12 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924    3702    55
  13 lc0.net.65373         :    29.7    3.2   10822.0   20000    54      85   5360   10924    3716    55
  14 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      93   5255   10998    3747    55
  15 lc0.net.65374         :    23.7    3.3   10657.5   20000    53      89   5127   11061    3812    55
  16 lc0.net.T60B.7-135    :    20.8    3.3   10576.5   20000    53      62   4994   11165    3841    56
  17 lc0.net.T60B.7-105    :    20.0    3.3   10556.0   20000    53     100   4984   11144    3872    56
  18 lc0.net.62948         :     5.9    3.3   10163.0   20000    51      83   4400   11526    4074    58
  19 lc0.net.64255         :     3.6    3.3   10100.0   20000    51      98   4463   11274    4263    56
- 20 Stockfish.dev         :     0.0   ----  175034.5  380000    46     ---  70100  209869  100031    55

White advantage = 57.57 +/- 0.38
Draw rate (equal opponents) = 57.43 % +/- 0.09
https://dropmefiles.com/ZGKfm

[свернуть]
Владимир001 вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Jeweller (26.11.2020), Viktor (26.11.2020), Виталий В. (26.11.2020)
Старый 26.11.2020, 14:42   #7307
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

С дискорд:
NN-тестовый прогон Lc0 0.26.3 65981 завершен. Эта сеть не очень новая, но была предложена мне. И результат впечатляющий - явный прогресс до последнего теста T60 (65732). Сейчас протестирую новый Т60 (66309) - посмотрим, так ли сильны и последние Т60, или 65981 был одиночным «пиком». https://www.sp-cc.de/nn-vs-sf-testing.htm
Владимир001 вне форума   Ответить с цитированием
Старый 27.11.2020, 01:30   #7308
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: 66193 vs J94-60

Развернуть для просмотра


LC0 version: v0.26.3
LC0 options: Threads=2
Time control: N/A
Hardware: AMD Phenom II X6 1035T Processor, GTX 1660
Speed: J94-60: 2000 npm | 66193: Posted next to results
Book: 10ply-100k
Book options: Opening order: Sequential. Play all openings for both white and black.
Tablebases: No Tablebases.
Adjudication: -draw movenumber=40 movecount=4 score=8 -resign movecount=4 score=500
Software: CuteChess-cli
Comments: More testing to try to find the ratio between 24b nets and 30b nets where their strength is relatively equal.
Код:
  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 J94-60    :     9.8    9.0   616.5    1200    51      98  146  941  113    78
  2 66193     :     0.0   ----   583.5    1200    49     ---  113  941  146    78     <== 3500 NPM

White advantage = 42.00 +/- 4.66
Draw rate (equal opponents) = 81.48 % +/- 1.24

  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 J94-60    :     2.7    8.8   604.5    1200    50      72  125  959  116    80
  2 66193     :     0.0   ----   595.5    1200    50     ---  116  959  125    80     <== 3700 NPM

White advantage = 33.69 +/- 4.51
Draw rate (equal opponents) = 81.92 % +/- 1.19

  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 66193     :     0.0   ----   606.0    1200    51      79  129  954  117    80     <== 4000 NPM
  2 J94-60    :    -3.6    8.7   594.0    1200    50     ---  117  954  129    80

White advantage = 45.83 +/- 4.52
Draw rate (equal opponents) = 83.40 % +/- 1.24
3 files:
https://pixeldrain.com/l/t7WEdG1w#item=0
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (27.11.2020), Виталий В. (27.11.2020)
Старый 27.11.2020, 01:33   #7309
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: lc0.26.T60_66234 vs Stockfish 12 4CPU - 100 rapid games

Развернуть для просмотра


LC0-version: v26.0 cuda
LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0
Time control: 15min + 5s (CCRL 40/15)
Hardware: CPU i7-8700 4cores vs 1070Ti GPU
Book: Custom short lines played from both sides (!sheet4 for opening list)
Tablebase: 6 piece syzygy (DTZ + WDL) for both engines
Software: Arena
Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower)
Context: Best ever vanilla T60 result !sheet4 for test history

Ordo w/ comparison to previous scores:
Код:
   # PLAYER                 :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
-  1 Stockfish_12_x64-bmi2  :  3522.0   ----   106.5     200    53      79   16  181    3
+  2 lc0.26.T60_66234       :  3515.0   17.4    49.0     100    49      98    3   92    5
   3 lc0.26.T60_64924       :  3483.3   23.8    44.5     100    45     ---    0   89   11

lc0.26.T60_66234 - Stockfish_12_x64-bmi2 : 49.0/100 3-5-92 (======0========================0========================0================010=============1==1=======) 49%
[свернуть]
Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (27.11.2020)
Старый 27.11.2020, 15:31   #7310
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

LTC Tuning Test – Default (Kiudee) v ZZ new tune

Развернуть для просмотра


Hardware: i-10980ex CPU 36 threads 64GB, gpu RTX 3080 + 2070
SF-dev 16/11/2020 vs. LC0 JH-94x80 nets
LC0-version: v0.26.3
SF vnni512

Default parameters
"Cpuct": 2.147:,"CPuctBase": 18368.00,"CPuctFactor": 2.815 "FpuValue": 0.443, "PolicyTemperature": 1.607,

ZZ tune
"Cpuct": 1.350,"CPuctBase": 20253.00,"CPuctFactor": 3.468,"FpuValue": 0.228, "PolicyTemperature": 1.497,

Software: Octagon gui
Time control: 300 + 5 (40,000 nps & 700,000 npm)
Book: SuFi 19, order=sequential
Tablebases: 6-men
Comment: There is little discernment between Kiudee Default and the new ZZ tune
A very good result for lc0 when compared to the actual Sufi, with a faster tc and the same crazy Sufi book.
Код:
   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 stockfish-161120    :       2     18   101.0     200  50.5      57   31  140   29  70.0
  2 Lc0-j94-80 D        :      -1     28    49.5     100  49.5      50   14   71   15  71.0
  3 Lc0-j94-80 ZZ       :      -1     28    49.5     100  49.5     ---   15   69   16  69.0

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 70.01 % +/- 3.24
MEDIANS
Код:
Name                    Games     Depth       NPS           Nodes
-------------------------------------------------------------------------------------
stockfish-161120    :      200     38        33100814   216920585
Lc0-j94-80 D        :      100     14           42499      724816
Lc0-j94-80 ZZ       :      100     15           39349      702141
Zztune test
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (27.11.2020), Виталий В. (27.11.2020)
Старый 27.11.2020, 15:34   #7311
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: Gauntlet SF201028 vs J92-320

Развернуть для просмотра


Hardware: Geforce RTX 2070S & AMD Threadripper 3970X
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
SF options: Threads=23 Hash=4096
Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000
Software: cutechess-cli
Comments: I decided to test J92-320 without a prior SPRT test to see how it compared to J92-310 and J92-330.
Код:
   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
-  1 stockfish_201028    :     0.0   ----   622.0    1200  51.8      50   66  1112   22
   2 lc0.net.J92-310     :     0.0   12.0   100.0     200  50.0      92    6   188    6
   3 lc0.net.J92-270     :   -12.3   12.4    96.5     200  48.3      58    3   187   10
+  4 lc0.net.J92-320     :   -14.1   13.1    96.0     200  48.0      58    4   184   12
   5 lc0.net.J92-330     :   -15.8   12.6    95.5     200  47.8      57    1   189   10
   6 lc0.net.J92-280     :   -17.6   13.1    95.0     200  47.5      50    5   180   15
   7 lc0.net.J92-190     :   -17.6   13.0    95.0     200  47.5     ---    3   184   13

White advantage = 18.74 +/- 2.67
Draw rate (equal opponents) = 95.75 % +/- 0.77
https://pixeldrain.com/u/B7jpfS83
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (27.11.2020), Виталий В. (27.11.2020)
Старый 28.11.2020, 11:06   #7312
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра


Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234, 66275, 66314
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:
Код:
   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D       L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      77   5592   10932    3476    55
+  2 lc0.net.66314         :    36.5    3.2   11011.5   20000    55      60   5518   10987    3495    55
   3 lc0.net.66148         :    35.9    3.3   10994.5   20000    55      58   5498   10993    3509    55
   4 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906    3565    55
   5 lc0.net.65988         :    34.8    3.2   10963.0   20000    55      50   5474   10978    3548    55
   6 lc0.net.66234         :    34.8    3.3   10962.5   20000    55      51   5495   10935    3570    55
   7 lc0.net.66103         :    34.7    3.3   10961.0   20000    55      56   5449   11024    3527    55
   8 lc0.net.65762         :    34.4    3.2   10952.0   20000    55      57   5494   10916    3590    55
   9 lc0.net.66275         :    34.0    3.3   10940.5   20000    55      58   5406   11069    3525    55
  10 lc0.net.65830         :    33.5    3.2   10927.5   20000    55      68   5457   10941    3602    55
  11 lc0.net.66053         :    32.4    3.3   10897.5   20000    54      71   5363   11069    3568    55
  12 lc0.net.65726         :    31.1    3.3   10862.0   20000    54      65   5317   11090    3593    55
  13 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924    3702    55
  14 lc0.net.65373         :    29.7    3.3   10822.0   20000    54      85   5360   10924    3716    55
  15 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      93   5255   10998    3747    55
  16 lc0.net.65374         :    23.7    3.2   10657.5   20000    53      90   5127   11061    3812    55
  17 lc0.net.T60B.7-135    :    20.8    3.2   10576.5   20000    53      63   4994   11165    3841    56
  18 lc0.net.T60B.7-105    :    20.0    3.2   10556.0   20000    53     100   4984   11144    3872    56
  19 lc0.net.62948         :     5.9    3.2   10163.0   20000    51      84   4400   11526    4074    58
  20 lc0.net.64255         :     3.6    3.2   10100.0   20000    51      99   4463   11274    4263    56
- 21 Stockfish.dev         :     0.0   ----  184023.0  400000    46     ---  73595  220856  105549    55

White advantage = 57.57 +/- 0.36
Draw rate (equal opponents) = 57.43 % +/- 0.08
PGN:
https://pixeldrain.com/u/rGomvLvz
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (28.11.2020), Виталий В. (28.11.2020)
Старый 29.11.2020, 01:50   #7313
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position

Развернуть для просмотра


LC0-version: v0.21.2 up to v0.26.3
LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
AB engine options: threads=4, hash=4096 MB
hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT)
software: Arena GUI, "Automatic Analysis" feature with EPD file.
Tablebases: Syzygy 5-men on SSD
Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip
Results (solutions, percent):
Код:
A) CPU engines (mobile i7-7700HQ 4x2.8GHz):
Crystal-NNUE_271020_4CPU        :  98 = 88.3%   *net: nn-eba324f53044.nnue*
CorChess NNUE 1.3_081120 4CPU   :  97 = 87.4%   *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE Pure 4CPU     :  97 = 87.4%   *Pure NNUE eval*, *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE 4CPU          :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
Stockfish 20111513 NNUE 4CPU    :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
CorChess NNUE 1.3_171120 4CPU   :  95 = 85.6%   *net: nn-c3ca321c51c9.nnue*
Cfish 151120 NNUE 4CPU          :  94 = 84.7%   *net: nn-c3ca321c51c9.nnue*
Stockfish 12 4CPU (NNUE)        :  94 = 84.7%   *net: nn-82215d0fd0df.nnue*
BrainFish_200724_4CPU           :  92 = 82.9%
Stockfish 20073110 4CPU         :  92 = 82.9%   *Stockfish Classic, last version before NNUE*
Stockfish 11 4CPU               :  91 = 82.9%
Stockfish 10 4CPU               :  90 = 81.1%
Komodo-13.2.5_4CPU              :  88 = 79.3%
Komodo 12.1.1 4CPU (freeware)   :  84 = 75.7%
RubiChess 1.8 NNUE 4CPU         :  84 = 75.7%   *net: nn-803c91ad5c-20201107.nnue*
SlowChess Blitz Cl. v2.4 4CPU   :  83 = 74.8%
Nemorino 6.00 NNUE 4CPU         :  77 = 69.4%   *net: nemorino_net_6.nnue*
Xiphos 0.6 4CPU                 :  76 = 68.4%
Ethereal 12.75 pext-avx2 4CPU   :  73 = 65.8%
Igel 2.8.0 NNUE 4CPU            :  72 = 64.9%   *net: night nurse v0.2.5b*
Laser 1.7 4CPU                  :  72 = 64.9%
Komodo-MCTS-13.2.5_4CPU         :  62 = 55.9%
Lc0.net.703350-blas_4CPU        :  60 = 54.1%
Fire 7.1 4CPU                   :  60 = 54.1%
Lc0.net.DK.Bad_Gyal_7_blas_4CPU :  57 = 51.4%
Lc0.net.LD2_blas_4CPU  (10x128) :  56 = 50.4%
Код:
B) GPU engines (mobile Geforce GTX 1050 TI 4GB):
Lc0-0.22.0-dev.Leelenstein 14.3 :  83 = 74.8%
Lc0.net.66350 (24x320)          :  82 = 73.9%   <== NEW. latest tested T60 net
Lc0.net.66320 (24x320)          :  82 = 73.9%   <== NEW
Lc0.net.66167 (24x320)          :  82 = 73.9%   *slightly better than J94-60 against Corchess NNUE at 5min+5s TC*
Lc0.net.65981 (24x320)          :  82 = 73.9%
Lc0.net.JH.J92-270  (30x384)    :  81 = 73.0%   ** TCEC Cup 7 net **
Lc0.net.JH.J92-260  (30x384)    :  81 = 73.0%
Lc0.net.JH.J92-210  (30x384)    :  81 = 73.0%
Lc0.net.66338 (24x320)          :  81 = 73.0%   <== NEW
Lc0.net.66337 (24x320)          :  81 = 73.0%   <== NEW
Lc0.net.JH.J92-280  (30x384)    :  80 = 72.1%   *best net against SF Dev + Corchess NNUE at 5min+5s TC*
Lc0.net.JH.J94-80  (30x384)     :  80 = 72.1%
Lc0.net.JH.J94-60  (30x384)     :  80 = 72.1%
Lc0.net.JH.J92-240  (30x384)    :  80 = 72.1%
Lc0.net.66222 (24x320)          :  80 = 72.1%   <== NEW
Lc0.net.66205 (24x320)          :  80 = 72.1%
Lc0.net.66114 (24x320)          :  80 = 72.1%
Lc0.net.66000 (24x320)          :  80 = 72.1%
Lc0.net.65500 (24x320)          :  80 = 72.1%
Lc0.net.JH.J94-40  (30x384)     :  79 = 71.2%
Lc0.net.JH.J92-330  (30x384)    :  79 = 71.2%   ** TCCE S19 FRC2 + CCC Blitz Championship net **
Lc0.net.JH.J92-250  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-230  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-220  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-190  (30x384)    :  79 = 71.2%   ** TCEC S19 SuFi net **
Lc0.net.66300 (24x320)          :  79 = 71.2%   <== NEW
Lc0.net.66250 (24x320)          :  79 = 71.2%
Lc0.net.66233 (24x320)          :  79 = 71.2%
[свернуть]
Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (29.11.2020)
Старый 29.11.2020, 10:59   #7314
Владимир001
Гроссмейстер
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 3,588
Сказал(а) спасибо: 3,344
Поблагодарили 4,426 раз(а) в 2,127 сообщениях
Репутация: 157
По умолчанию Re: LCZero

вы можете взглянуть на тесты здесь: https://docs.google.com/spreadsheets...83391972662922
Владимир001 вне форума   Ответить с цитированием
Старый 29.11.2020, 13:05   #7315
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,058
Сказал(а) спасибо: 2
Поблагодарили 696 раз(а) в 342 сообщениях
Репутация: 89
По умолчанию Re: LCZero

По вменяемым тестам сеть 310 гораздо сильнее сети 330

Стокфиш на 23 потоках против Лилы на 2070 Super c большим контролем (5 минут + 5 секунд)

Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Нardware: Geforce RTX 2070S & AMD Threadripper 3970X
SF options: Threads=23 Hash=4096
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000
Код:
# PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
-  1 stockfish_201028    :     0.0   ----   622.0    1200  51.8      50   66  1112   22
   2 lc0.net.J92-310     :     0.0   12.0   100.0     200  50.0      92    6   188    6
   3 lc0.net.J92-270     :   -12.3   12.4    96.5     200  48.3      58    3   187   10
+  4 lc0.net.J92-320     :   -14.1   13.1    96.0     200  48.0      58    4   184   12
   5 lc0.net.J92-330     :   -15.8   12.6    95.5     200  47.8      57    1   189   10
   6 lc0.net.J92-280     :   -17.6   13.1    95.0     200  47.5      50    5   180   15
   7 lc0.net.J92-190     :   -17.6   13.0    95.0     200  47.5     ---    3   184   13
Тест одна позиция на ход

Код:
Time control: 1 Node/move
Book: Chad-opening book with 100 000 different openings with the most popular human openings. 
Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black.

J92-310:             19     Elo    (Test with 200k games)
J94-60:              18     Elo    (Test with 200k games)
J92-320:             17     Elo    (Test with 200k games)
J92-270:             17     Elo    (Test with 200k games)
J92-330:             14     Elo    (Test with 200k games)
J92-280:             11     Elo    (Test with 200k games)
J92-260:             11     Elo    (Test with 200k games)
J92-290:             10     Elo    (Test with 200k games)
J92-240:              8     Elo    (Test with 200k games)
Почему всюду посылают сеть 330, а не 310? Загадка
Омегазеро вне форума   Ответить с цитированием
Старый 29.11.2020, 13:21   #7316
sergey1963
Гроссмейстер
 
Аватар для sergey1963
 
Регистрация: 31.05.2016
Сообщений: 4,945
Сказал(а) спасибо: 9,109
Поблагодарили 5,437 раз(а) в 2,942 сообщениях
Репутация: 417
По умолчанию Re: LCZero

Омегазеро,
ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39..
однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990...
sergey1963 вне форума   Ответить с цитированием
Старый 29.11.2020, 13:37   #7317
Свинья
2 разряд
 
Аватар для Свинья
 
Регистрация: 22.03.2018
Сообщений: 352
Сказал(а) спасибо: 44
Поблагодарили 173 раз(а) в 109 сообщениях
Репутация: 26
По умолчанию Re: LCZero

Цитата: Сообщение от sergey1963
Омегазеро,
ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39..
однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990...
Как вообще можно сравнивать производительность видеокарты и процессора? разный принцип работы совершенно.
Свинья вне форума   Ответить с цитированием
Старый 29.11.2020, 13:52   #7318
Viktor
Эксперт
 
Аватар для Viktor
 
Регистрация: 07.06.2016
Сообщений: 5,039
Сказал(а) спасибо: 9,752
Поблагодарили 10,652 раз(а) в 3,869 сообщениях
Репутация: 621
По умолчанию Re: LCZero

В моих "неправильных" тестах сети J92-300 и J92-290 лучшие.
Их разница настолько невелика, что бессмысленно вести какой-то спор.
Viktor на форуме   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Maratka (29.11.2020), Владимир001 (29.11.2020)
Старый 29.11.2020, 14:20   #7319
Maratka
Эксперт
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 10,381
Сказал(а) спасибо: 2,816
Поблагодарили 5,278 раз(а) в 3,795 сообщениях
Репутация: 192
По умолчанию Re: LCZero

Цитата: Сообщение от Омегазеро
По вменяемым тестам сеть 310 гораздо сильнее сети 330
PLAYED =200?
Это вменяемый тест?
Maratka на форуме   Ответить с цитированием
Старый 29.11.2020, 18:18   #7320
svoitsl
Гроссмейстер
 
Аватар для svoitsl
 
Регистрация: 19.04.2017
Сообщений: 3,873
Сказал(а) спасибо: 884
Поблагодарили 2,200 раз(а) в 1,502 сообщениях
Репутация: 108
По умолчанию Re: LCZero

Цитата: Сообщение от Maratka
Это вменяемый тест?
тут важно, что ошибка меньше разницы, поэтому вывод, что лучше сделать можно.
хотя возможно, что тут привена только половина ошибки....
svoitsl вне форума   Ответить с цитированием
Ответ


Здесь присутствуют: 5 (пользователей: 0 , гостей: 5)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 18:51. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2021, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru