Развернуть для просмотра

svoitsl · 20.11.2020, 23:10

Цитата: Сообщение от Владимир001

https://slides.com/crem/lc0#/17

За почти полтора года так и не обновилась, а ведь какие были надежды.
Да и тут Crem нечасто стал появляться.....

Владимир001 · 21.11.2020, 21:56

https://www.twitch.tv/navratil25

Владимир001 · 21.11.2020, 22:03

Match Gauntlet
LC0-version: lc0-v0.26.3 cudnn-version

Развернуть для просмотра

LC0 options: Standard option except Threads=1, NNCacheSize=0, MinibatchSize=1.
Time control: 1 Node/move
Hardware: i7-4790 with 16 GByte RAM + GTX1650
Speed: Not important for this type of testing.
Book: Chad-opening book with 100 000 different openings with the most popular human openings.
Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black.
Tablebases: No Tablebases.
Adjudication: Only 5-men syzygy
Software: CuteChess 1.2.0 https://github.com/cutechess/cutechess/releases / Graphic tools is programmed by glbchess64, in Python programming tools.
Comment: This is result out of Ordo 1.2.6 https://github.com/michiguel/Ordo/releases/tag/v1.2.6
Ordo string: ordo.exe -Q -N 0 -D -a 0 -A "J92-145" -W -n4 -s500 -G -V -U "0,1,2,3,4,5,6,7,8,9,10" -j stats.txt -o rating.txt -p games.pgn
Results: pgn-file: https://ufile.io/ws14dp08
Explanation: Trying to find the best net in clean policy Elo.

Код:

   # PLAYER     :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W      D      L  D(%)
   1 J94-60     :      18      1  105104.0  200000  52.6     100  67958  74292  57750  37.1
   2 J92-145    :       0      1   94896.0  200000  47.4     ---  57750  74292  67958  37.1

White advantage = 28.72 +/- 0.57
Draw rate (equal opponents) = 37.42 % +/- 0.10

My list until now (Elo against J92-145) 1 Node/move:

Код:

White advantage = 23.98 +/- 0.57
Draw rate (equal opponents) = 36.51 % +/- 0.10
J92-310:             19     Elo    (Test with 200k games)
J94-60:              18     Elo    (Test with 200k games)
J92-320:             17     Elo    (Test with 200k games)
J92-270:             17     Elo    (Test with 200k games)
J92-330:             14     Elo    (Test with 200k games)
J92-280:             11     Elo    (Test with 200k games)
J92-260:             11     Elo    (Test with 200k games)
J92-290:             10     Elo    (Test with 200k games)
J92-240:              8     Elo    (Test with 200k games)
J94-40:               6     Elo    (Test with 117k games)
J92-210:              5     Elo    (Test with 200k games)
J92-220:              3     Elo    (Test with 200k games)
J92-205:              3     Elo    (Test with 200k games)
J92-230:              2     Elo    (Test with 200k games)
J92-190:              1     Elo    (Test with 200k games)
J92-145:              0     Elo    (Reference)
J92-100:             -2     Elo    (Test with 200k games)

[свернуть]

Владимир001 · 21.11.2020, 22:06

Match: J92/J94 vs SF-12 (16 threads)

Развернуть для просмотра

Hardware: RTX 3080, i9-10900kf
Time control: 5s + 0.5s (time forfeit disabled)
Openings: TCEC SuFi 10-19 (500 pos.)
Lc0 26.3 cuda-fp16: threads=2, move-overhead=0, mlh=on
minibatch-size: J92/94=204, ls-15=136, 66086=112
mlh tcec-19: moves-left-max-effect=0.2, moves-left-threshold=0, moves-left-slope=0.004, moves-left-scaled-factor=1, moves-left-quadratic-factor=0, moves-left-constant-factor=0
Stockfish 12 bmi2: threads=16, hash=256, move overhead=0
TBs and adj.: syzygy 5-men, draw 5 moves 5cp move 30, resign (two-sided) 5 moves 600cp
Comments: All J94 above J92-330, with J94-40 having much less losses (might be a statistical fluke). T60 catching on 384x30 nets here, and about on par with ls-15. J92-280 lags behind J92-330 and the J94's.
Games: https://gofile.io/d/iSDjXg

Код:

# PLAYER            :  RATING  ERROR  PLAYED  (%)   CFS    W     D     L   D(%)
1 lc0-263-j94-40    :    23.7    9.8   1000  53.20   70   210   644   146  64.40
2 lc0-263-j94-60    :    19.2   12.9   1000  52.60   73   220   612   168  61.20
3 lc0-263-j94-80    :    13.7   11.2   1000  51.85   58   211   615   174  61.50
4 lc0-263-j92-330   :    11.8   12.1   1000  51.60   69   202   628   170  62.80
5 lc0-263-j92-280   :     7.8    9.5   1000  51.05   92   200   621   179  62.10
6 stockfish-12-16T  :     0.0    4.1   8000  48.86   50  1417  4984  1599  62.30
7 lc0-263-j92-190   :     0.0   13.0   1000  50.00   65   173   654   173  65.40
8 lc0-263-66086     :    -4.1   11.6   1000  49.45   53   186   617   197  61.70
9 lc0-263-ls-15     :    -4.8   11.2   1000  49.35  ---   197   593   210  59.30

White advantage = 80.34 +/- 2.59
Draw rate (equal opponents) = 67.44 % +/- 0.57

[свернуть]

Владимир001 · 21.11.2020, 22:11

Match: Match of CorChess NNUE 4CPU against Lc0 66167

Развернуть для просмотра

Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: First T60 test at those conditions. ERET test results included in the table.

Код:

   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU :     0.0   ----   290.5     500  58.1     100   84  413    3  82.6  97/111
   2 Lc0.net.JH.J92-280            :   -46.1   25.5    43.5     100  43.5      71    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-40             :   -57.0   27.1    42.0     100  42.0      50    0   84   16  84.0  79/111
   4 Lc0.net.66167                 :   -57.0   26.2    42.0     100  42.0      58    1   82   17  82.0  82/111    <== NEW
   5 Lc0.net.JH.J94-60             :   -60.6   26.8    41.5     100  41.5      65    1   81   18  81.0  80/111
   6 Lc0.net.JH.J92-330            :   -67.9   27.9    40.5     100  40.5     ---    0   81   19  81.0  79/111

https://pixeldrain.com/u/1sdJ6VXS

[свернуть]

Владимир001 · 21.11.2020, 22:14

Match: lc0.26.J94-60 vs Stockfish 12 4CPU - 100 rapid games

Развернуть для просмотра

LC0-version: v26.0 cuda
LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0
Time control: 15min + 5s (CCRL 40/15)
Hardware: CPU i7-8700 4cores vs 1070Ti GPU
Book: Custom short lines played from both sides (!sheet4 for opening list)
Tablebase: 6 piece syzygy (DTZ + WDL) for both engines
Software: Arena
Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower)
Context: !sheet4 for test history

Ordo w/ comparison to previous scores:

Код:

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.26.J92-300           :  3522.0   21.2    50.0     100    50      50    7   86    7
-  2 Stockfish_12_x64-bmi2    :  3522.0   ----   257.5     500    52      63   33  449   18
   3 lc0.26.J92-270           :  3518.5   21.1    49.5     100    50      68    3   93    4
   4 lc0.26.J92-330           :  3511.4   21.7    48.5     100    49      50    7   83   10
   5 lc0.26.J92-190           :  3511.4   21.0    48.5     100    49      88    1   95    4
+  6 lc0.26.J94-60  **new**   :  3493.7   22.9    46.0     100    46     ---    0   92    8

Код:

lc0.26.J94-60 - Stockfish_12_x64-bmi2 : 46.0/100 0-8-92 (===============0==0=============0====0===============================0===0===========0==========0===)  46%  -> 3494

[свернуть]

Владимир001 · 23.11.2020, 00:53

Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions

Развернуть для просмотра

Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position
LC0-version: v0.21.2 up to v0.26.3
LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
AB engine options: threads=4, hash=4096 MB
hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT)
software: Arena GUI, "Automatic Analysis" feature with EPD file.
Tablebases: Syzygy 5-men on SSD
Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip
Results (solutions, percent):

Код:

A) CPU engines (mobile i7-7700HQ 4x2.8GHz):
Crystal-NNUE_271020_4CPU        :  98 = 88.3%   *net: nn-eba324f53044.nnue*
CorChess NNUE 1.3_081120 4CPU   :  97 = 87.4%   *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE Pure 4CPU     :  97 = 87.4%   *Pure NNUE eval*, *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE 4CPU          :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
Stockfish 20111513 NNUE 4CPU    :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
CorChess NNUE 1.3_171120 4CPU   :  95 = 85.6%   *net: nn-c3ca321c51c9.nnue*
Cfish 151120 NNUE 4CPU          :  94 = 84.7%   *net: nn-c3ca321c51c9.nnue*
Stockfish 12 4CPU (NNUE)        :  94 = 84.7%   *net: nn-82215d0fd0df.nnue*
BrainFish_200724_4CPU           :  92 = 82.9%
Stockfish 20073110 4CPU         :  92 = 82.9%   *Stockfish Classic, last version before NNUE*
Stockfish 11 4CPU               :  91 = 82.9%
Stockfish 10 4CPU               :  90 = 81.1%
Komodo-13.2.5_4CPU              :  88 = 79.3%
Komodo 12.1.1 4CPU (freeware)   :  84 = 75.7%
RubiChess 1.8 NNUE 4CPU         :  84 = 75.7%   *net: nn-803c91ad5c-20201107.nnue*
SlowChess Blitz Cl. v2.4 4CPU   :  83 = 74.8%
Nemorino 6.00 NNUE 4CPU         :  77 = 69.4%   *net: nemorino_net_6.nnue*
Xiphos 0.6 4CPU                 :  76 = 68.4%
Ethereal 12.75 pext-avx2 4CPU   :  73 = 65.8%
Igel 2.8.0 NNUE 4CPU            :  72 = 64.9%   *net: night nurse v0.2.5b*
Laser 1.7 4CPU                  :  72 = 64.9%
Komodo-MCTS-13.2.5_4CPU         :  62 = 55.9%
Lc0.net.703350-blas_4CPU        :  60 = 54.1%
Fire 7.1 4CPU                   :  60 = 54.1%
Lc0.net.DK.Bad_Gyal_7_blas_4CPU :  57 = 51.4%
Lc0.net.LD2_blas_4CPU  (10x128) :  56 = 50.4%

Код:

B) GPU engines (mobile Geforce GTX 1050 TI 4GB):
Lc0-0.22.0-dev.Leelenstein 14.3 :  83 = 74.8%
Lc0.net.66167 (24x320)          :  82 = 73.9%   *slightly better than J94-60 against Corchess NNUE at 5min+5s TC*
Lc0.net.65981 (24x320)          :  82 = 73.9%   <== NEW, net recommended by @VictorSwell
Lc0.net.JH.J92-270  (30x384)    :  81 = 73.0%   ** TCEC Cup 7 net **
Lc0.net.JH.J92-260  (30x384)    :  81 = 73.0%
Lc0.net.JH.J92-280  (30x384)    :  80 = 72.1%   *best net against SF Dev + Corchess NNUE at 5min+5s TC*
Lc0.net.JH.J94-80  (30x384)     :  80 = 72.1%
Lc0.net.JH.J94-60  (30x384)     :  80 = 72.1%
Lc0.net.66205 (24x320)          :  80 = 72.1%   <== NEW
Lc0.net.66114 (24x320)          :  80 = 72.1%
Lc0.net.66000 (24x320)          :  80 = 72.1%
Lc0.net.65500 (24x320)          :  80 = 72.1%
Lc0.net.JH.J94-40  (30x384)     :  79 = 71.2%
Lc0.net.JH.J92-330  (30x384)    :  79 = 71.2%   ** TCCE S19 FRC2 + CCC Blitz Championship net **
Lc0.net.JH.J92-190  (30x384)    :  79 = 71.2%   ** TCEC S19 SuFi net **
Lc0.net.66250 (24x320)          :  79 = 71.2%   <== NEW, *latest tested T60 net*
Lc0.net.66233 (24x320)          :  79 = 71.2%   <== NEW
Lc0.net.JH.J92-320  (30x384)    :  78 = 70.3%   *parent net for J94 nets*
Lc0.net.JH.J92-310  (30x384)    :  77 = 69.4%   *best 1-node policy test*
Allie-v0.7.Leelenstein 14.3     :  77 = 69.4%
Lc0.net.JH.J92-100  (30x384)    :  75 = 67.6%   ** TCEC S19 DivP net **
Lc0.net.SV.384x30-T60-4619      :  75 = 67.6%
Lc0.net.JH.T40B.4-160           :  75 = 67.6%   ** S16 DivP net **
Lc0.net.703810  (10x128)        :  75 = 67.6%
Lc0.net.JH.J13B.2-136  (24x320) :  74 = 66.7%   *Terminator 2 net*
Lc0.net.SV.256x20-T40-1541      :  74 = 66.7%
Lc0.net.42850                   :  73 = 65.8%
Lc0.net.11248                   :  69 = 62.2%
Lc0.net.LD2          (10x128)   :  67 = 60.4%
Lc0.net.32930                   :  66 = 59.4%
Lc0.net.DK.Bad_Gyal_9  (10x128) :  65 = 58.6%

[свернуть]

Владимир001 · 23.11.2020, 13:17

Match: Gauntlet SF201028 vs J92-310

Развернуть для просмотра

Hardware: Geforce RTX 2070S & AMD Threadripper 3970X
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
SF options: Threads=23 Hash=4096
Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000
Software: cutechess-cli
Comments: Despite the SPRT test ranking J92-330 over J92-310, an ordo of J92-330 and J92-310 only gives a CFS of 99% in favour of J92-310. J92-330 was doing really well with the more common openings (first 75%), but then had problems with the final 25% of less common openings. An example of this is the Latvian Gambit, where all the other J92 nets that I tested had white wins for SF and Lc0, but J92-330 only managed a draw as white. I have attached the analysis of the openings as a spreadsheet.

Код:

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
-  1 stockfish_201028    :     0.0   ----   518.0    1000  51.8      50   54  928   18
   2 lc0.net.J92-310     :     0.0   12.1   100.0     200  50.0      91    6  188    6
   3 lc0.net.J92-270     :   -12.3   12.7    96.5     200  48.3      65    3  187   10
+  4 lc0.net.J92-330     :   -15.8   13.1    95.5     200  47.8      58    1  189   10
   5 lc0.net.J92-190     :   -17.6   12.9    95.0     200  47.5      50    3  184   13
   6 lc0.net.J92-280     :   -17.6   12.7    95.0     200  47.5     ---    5  180   15

White advantage = 18.27 +/- 2.98
Draw rate (equal opponents) = 95.84 % +/- 0.86

2 файла:
https://pixeldrain.com/l/drgxAWrL#item=0

[свернуть]

Владимир001 · 23.11.2020, 13:22

https://www.twitch.tv/navratil25

NN-testrun of Lc0 0.26.3 J94-80 finished: https://www.sp-cc.de/nn-vs-sf-testing.htm

Владимир001 · 24.11.2020, 03:07

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:

   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      84   5592   10932   3476    55
   2 lc0.net.66148         :    35.9    3.2   10994.5   20000    55      58   5498   10993   3509    55
   3 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906   3565    55
   4 lc0.net.65988         :    34.8    3.3   10963.0   20000    55      50   5474   10978   3548    55
+  5 lc0.net.66234         :    34.8    3.2   10962.5   20000    55      51   5495   10935   3570    55
   6 lc0.net.66103         :    34.7    3.2   10961.0   20000    55      56   5449   11024   3527    55
   7 lc0.net.65762         :    34.4    3.1   10952.0   20000    55      65   5494   10916   3590    55
   8 lc0.net.65830         :    33.5    3.2   10927.5   20000    55      68   5457   10941   3602    55
   9 lc0.net.66053         :    32.4    3.3   10897.5   20000    54      71   5363   11069   3568    55
  10 lc0.net.65726         :    31.1    3.3   10862.0   20000    54      66   5317   11090   3593    55

Код:

  11 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924   3702    55
  12 lc0.net.65373         :    29.7    3.2   10822.0   20000    54      86   5360   10924   3716    55
  13 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      94   5255   10998   3747    55
  14 lc0.net.65374         :    23.7    3.2   10657.5   20000    53      90   5127   11061   3812    55
  15 lc0.net.T60B.7-135    :    20.8    3.1   10576.5   20000    53      63   4994   11165   3841    56
  16 lc0.net.T60B.7-105    :    20.0    3.3   10556.0   20000    53     100   4984   11144   3872    56
+ 17 lc0.net.62948         :     5.9    3.3   10163.0   20000    51      84   4400   11526   4074    58
  18 lc0.net.64255         :     3.6    3.1   10100.0   20000    51      99   4463   11274   4263    56
- 19 Stockfish.dev         :     0.0   ----  165975.0  360000    46     ---  66575  198800  94625    55
White advantage = 57.55 +/- 0.39
Draw rate (equal opponents) = 57.42 % +/- 0.09

PGN:
2 файла:
https://pixeldrain.com/l/Cbc5WNJL#item=0

[свернуть]

Viktor · 24.11.2020, 12:47

У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается.
У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности.
В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав!
В шахматах Фишера это несоответствие еще больше!

Владимир001 · 24.11.2020, 12:50

Match: Match of CorChess NNUE 4CPU against Lc0 65981

Развернуть для просмотра

Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: With 65981 an earlier T60 net than 66167 was tested which had the same outstanding ERET test result. ERET test results included in the table.

Код:

   # PLAYER                           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU    :     0.0   ----   349.5     600  58.3     100  103  493    4  82.2  97/111
   2 Lc0.net.JH.J92-280               :   -46.1   24.3    43.5     100  43.5      72    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-40                :   -57.0   26.6    42.0     100  42.0      50    0   84   16  84.0  79/111
   4 Lc0.net.66167                    :   -57.0   28.1    42.0     100  42.0      57    1   82   17  82.0  82/111
   5 Lc0.net.JH.J94-60                :   -60.6   27.8    41.5     100  41.5      57    1   81   18  81.0  80/111
   6 Lc0.net.65981                    :   -64.2   28.2    41.0     100  41.0      57    1   80   19  80.0  82/111    <== NEW
   7 Lc0.net.JH.J92-330               :   -67.9   28.6    40.5     100  40.5     ---    0   81   19  81.0  79/111

https://pixeldrain.com/u/HwLTFyoR

[свернуть]

Vizvezdenec · 24.11.2020, 13:03

Цитата: Сообщение от Viktor

У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается.
У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности.
В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав!
В шахматах Фишера это несоответствие еще больше!

Оба движка не точены под шахматы фишера.
На самом деле даже простейший тюнинг выходного слоя в стоке даёт существенный прирост эло для соответствующей книги, на которой он сделан:
https://tests.stockfishchess.org/tes...cbf42301d6b163
https://tests.stockfishchess.org/tes...cbf42301d6b175
И это же даже не переобучение.
На 100% уверен, что подобную вещь можно сделать и для FRC.
Поэтому на самом деле сделать стокфиш / лилу, которые будут куда лучше играть FRC, не так уж и сложно.
А текущие версии играют FRC (относительно) плохо, поэтому и расхождение больше - они куда как чаще неправы.
Ну вот даже в TCEC идёт бонус - сток в группе с элли, лилой и комодо слил 2 игры, причём одну белыми, в финале Лила за первые 8 игр слила 5 (!) - давно такое мы наблюдали в даже кривоватых дебютах?

Владимир001 · 25.11.2020, 00:00

Match: T60 recent Elo

Развернуть для просмотра

Lc0-version: 26.1
Lc0 options: option.SyzygyPath="C:/tb"
Time/Node control: 800 nodes per move
Hardware: RTX 2080, AMD 2950X
Book: book-ply12-unifen-Q-0.1-0.5.pgn, random with reverse.
Tablebases: 6-man Syzygy
Adjudication: 6-man Syzygy and -draw movenumber=50 movecount=6 score=10 -resign movecount=5 score=500 twosided=true
Chess Interface: cutechess-cli
Comments: Small Elo gain in recent T60, consistent with self-Elo.
Results:

Код:

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)     W     L     D  D(%)  CFS(%)
   1 lc0.net.66260    :     6.2    4.0  5086.0   10000    51  1804  1632  6564    66     100
   2 lc0.net.65700    :     0.0   ----  4914.0   10000    49  1632  1804  6564    66     ---

https://pixeldrain.com/u/MjsESLKN

[свернуть]

Владимир001 · 25.11.2020, 21:56

Match: Match of CorChess NNUE 4CPU against Lc0 J94-80

Развернуть для просмотра

Lc0-version: v0.26.3
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020)
CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder=off
Elo rating: Ordo 1.2.6
Comments: J94-80 added. ERET test results included in the table.

Код:

 # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Corchess NNUE 1.3_081120_4CPU :     0.0   ----   406.5     700  58.1     100  118  577    5  82.4  97/111
   2 Lc0.net.JH.J92-280            :   -46.2   25.1    43.5     100  43.5      58    1   85   14  85.0  80/111
   3 Lc0.net.JH.J94-80             :   -49.8   25.9    43.0     100  43.0      65    1   84   15  84.0  80/111    <== NEW
   4 Lc0.net.66167                 :   -57.0   26.9    42.0     100  42.0      50    1   82   17  82.0  82/111
   5 Lc0.net.JH.J94-40             :   -57.0   26.6    42.0     100  42.0      58    0   84   16  84.0  79/111
   6 Lc0.net.JH.J94-60             :   -60.6   26.6    41.5     100  41.5      57    1   81   18  81.0  80/111
   7 Lc0.net.65981                 :   -64.3   28.9    41.0     100  41.0      57    1   80   19  80.0  82/111
   8 Lc0.net.JH.J92-330            :   -67.9   28.9    40.5     100  40.5     ---    0   81   19  81.0  79/111

[свернуть]

Владимир001 · 26.11.2020, 05:54

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234, 66275
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:

   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D       L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      84   5592   10932    3476    55
   2 lc0.net.66148         :    35.9    3.1   10994.5   20000    55      58   5498   10993    3509    55
   3 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906    3565    55
   4 lc0.net.65988         :    34.8    3.2   10963.0   20000    55      50   5474   10978    3548    55
   5 lc0.net.66234         :    34.8    3.2   10962.5   20000    55      51   5495   10935    3570    55
   6 lc0.net.66103         :    34.7    3.2   10961.0   20000    55      56   5449   11024    3527    55
   7 lc0.net.65762         :    34.4    3.2   10952.0   20000    55      57   5494   10916    3590    55
+  8 lc0.net.66275         :    34.0    3.3   10940.5   20000    55      58   5406   11069    3525    55
   9 lc0.net.65830         :    33.5    3.3   10927.5   20000    55      68   5457   10941    3602    55
  10 lc0.net.66053         :    32.4    3.2   10897.5   20000    54      71   5363   11069    3568    55
  11 lc0.net.65726         :    31.1    3.2   10862.0   20000    54      66   5317   11090    3593    55
  12 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924    3702    55
  13 lc0.net.65373         :    29.7    3.2   10822.0   20000    54      85   5360   10924    3716    55
  14 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      93   5255   10998    3747    55
  15 lc0.net.65374         :    23.7    3.3   10657.5   20000    53      89   5127   11061    3812    55
  16 lc0.net.T60B.7-135    :    20.8    3.3   10576.5   20000    53      62   4994   11165    3841    56
  17 lc0.net.T60B.7-105    :    20.0    3.3   10556.0   20000    53     100   4984   11144    3872    56
  18 lc0.net.62948         :     5.9    3.3   10163.0   20000    51      83   4400   11526    4074    58
  19 lc0.net.64255         :     3.6    3.3   10100.0   20000    51      98   4463   11274    4263    56
- 20 Stockfish.dev         :     0.0   ----  175034.5  380000    46     ---  70100  209869  100031    55

White advantage = 57.57 +/- 0.38
Draw rate (equal opponents) = 57.43 % +/- 0.09

https://dropmefiles.com/ZGKfm

[свернуть]

Владимир001 · 26.11.2020, 14:42

С дискорд:
NN-тестовый прогон Lc0 0.26.3 65981 завершен. Эта сеть не очень новая, но была предложена мне. И результат впечатляющий - явный прогресс до последнего теста T60 (65732). Сейчас протестирую новый Т60 (66309) - посмотрим, так ли сильны и последние Т60, или 65981 был одиночным «пиком». https://www.sp-cc.de/nn-vs-sf-testing.htm

Владимир001 · 27.11.2020, 01:30

Match: 66193 vs J94-60

Развернуть для просмотра

LC0 version: v0.26.3
LC0 options: Threads=2
Time control: N/A
Hardware: AMD Phenom II X6 1035T Processor, GTX 1660
Speed: J94-60: 2000 npm | 66193: Posted next to results
Book: 10ply-100k
Book options: Opening order: Sequential. Play all openings for both white and black.
Tablebases: No Tablebases.
Adjudication: -draw movenumber=40 movecount=4 score=8 -resign movecount=4 score=500
Software: CuteChess-cli
Comments: More testing to try to find the ratio between 24b nets and 30b nets where their strength is relatively equal.

Код:

  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 J94-60    :     9.8    9.0   616.5    1200    51      98  146  941  113    78
  2 66193     :     0.0   ----   583.5    1200    49     ---  113  941  146    78     <== 3500 NPM

White advantage = 42.00 +/- 4.66
Draw rate (equal opponents) = 81.48 % +/- 1.24

  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 J94-60    :     2.7    8.8   604.5    1200    50      72  125  959  116    80
  2 66193     :     0.0   ----   595.5    1200    50     ---  116  959  125    80     <== 3700 NPM

White advantage = 33.69 +/- 4.51
Draw rate (equal opponents) = 81.92 % +/- 1.19

  # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 66193     :     0.0   ----   606.0    1200    51      79  129  954  117    80     <== 4000 NPM
  2 J94-60    :    -3.6    8.7   594.0    1200    50     ---  117  954  129    80

White advantage = 45.83 +/- 4.52
Draw rate (equal opponents) = 83.40 % +/- 1.24

3 files:
https://pixeldrain.com/l/t7WEdG1w#item=0

[свернуть]

Владимир001 · 27.11.2020, 01:33

Match: lc0.26.T60_66234 vs Stockfish 12 4CPU - 100 rapid games

Развернуть для просмотра

LC0-version: v26.0 cuda
LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0
Time control: 15min + 5s (CCRL 40/15)
Hardware: CPU i7-8700 4cores vs 1070Ti GPU
Book: Custom short lines played from both sides (!sheet4 for opening list)
Tablebase: 6 piece syzygy (DTZ + WDL) for both engines
Software: Arena
Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower)
Context: Best ever vanilla T60 result !sheet4 for test history

Ordo w/ comparison to previous scores:

Код:

   # PLAYER                 :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
-  1 Stockfish_12_x64-bmi2  :  3522.0   ----   106.5     200    53      79   16  181    3
+  2 lc0.26.T60_66234       :  3515.0   17.4    49.0     100    49      98    3   92    5
   3 lc0.26.T60_64924       :  3483.3   23.8    44.5     100    45     ---    0   89   11

lc0.26.T60_66234 - Stockfish_12_x64-bmi2 : 49.0/100 3-5-92 (======0========================0========================0================010=============1==1=======) 49%

[свернуть]

Владимир001 · 27.11.2020, 15:31

LTC Tuning Test – Default (Kiudee) v ZZ new tune

Развернуть для просмотра

Hardware: i-10980ex CPU 36 threads 64GB, gpu RTX 3080 + 2070
SF-dev 16/11/2020 vs. LC0 JH-94x80 nets
LC0-version: v0.26.3
SF vnni512

Default parameters
"Cpuct": 2.147:,"CPuctBase": 18368.00,"CPuctFactor": 2.815 "FpuValue": 0.443, "PolicyTemperature": 1.607,

ZZ tune
"Cpuct": 1.350,"CPuctBase": 20253.00,"CPuctFactor": 3.468,"FpuValue": 0.228, "PolicyTemperature": 1.497,

Software: Octagon gui
Time control: 300 + 5 (40,000 nps & 700,000 npm)
Book: SuFi 19, order=sequential
Tablebases: 6-men
Comment: There is little discernment between Kiudee Default and the new ZZ tune
A very good result for lc0 when compared to the actual Sufi, with a faster tc and the same crazy Sufi book.

Код:

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
  1 stockfish-161120    :       2     18   101.0     200  50.5      57   31  140   29  70.0
  2 Lc0-j94-80 D        :      -1     28    49.5     100  49.5      50   14   71   15  71.0
  3 Lc0-j94-80 ZZ       :      -1     28    49.5     100  49.5     ---   15   69   16  69.0

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 70.01 % +/- 3.24

MEDIANS

Код:

Name                    Games     Depth       NPS           Nodes
-------------------------------------------------------------------------------------
stockfish-161120    :      200     38        33100814   216920585
Lc0-j94-80 D        :      100     14           42499      724816
Lc0-j94-80 ZZ       :      100     15           39349      702141

Zztune test

[свернуть]

Владимир001 · 27.11.2020, 15:34

Match: Gauntlet SF201028 vs J92-320

Развернуть для просмотра

Hardware: Geforce RTX 2070S & AMD Threadripper 3970X
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
SF options: Threads=23 Hash=4096
Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000
Software: cutechess-cli
Comments: I decided to test J92-320 without a prior SPRT test to see how it compared to J92-310 and J92-330.

Код:

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
-  1 stockfish_201028    :     0.0   ----   622.0    1200  51.8      50   66  1112   22
   2 lc0.net.J92-310     :     0.0   12.0   100.0     200  50.0      92    6   188    6
   3 lc0.net.J92-270     :   -12.3   12.4    96.5     200  48.3      58    3   187   10
+  4 lc0.net.J92-320     :   -14.1   13.1    96.0     200  48.0      58    4   184   12
   5 lc0.net.J92-330     :   -15.8   12.6    95.5     200  47.8      57    1   189   10
   6 lc0.net.J92-280     :   -17.6   13.1    95.0     200  47.5      50    5   180   15
   7 lc0.net.J92-190     :   -17.6   13.0    95.0     200  47.5     ---    3   184   13

White advantage = 18.74 +/- 2.67
Draw rate (equal opponents) = 95.75 % +/- 0.77

https://pixeldrain.com/u/B7jpfS83

[свернуть]

Владимир001 · 28.11.2020, 11:06

Gauntlet: SF-dev vs. LC0 24x320 nets

Развернуть для просмотра

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Network IDs: T60B.7-105, T60B.7-135, 62948, 64255, 65162, 65297, 65373, 65374, 65726, 65762, 65830, 65889, 65939, 65988, 66053, 66103, 66148, 66234, 66275, 66314
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:

   # PLAYER                :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D       L  D(%)
   1 lc0.net.65939         :    38.2    3.3   11058.0   20000    55      77   5592   10932    3476    55
+  2 lc0.net.66314         :    36.5    3.2   11011.5   20000    55      60   5518   10987    3495    55
   3 lc0.net.66148         :    35.9    3.3   10994.5   20000    55      58   5498   10993    3509    55
   4 lc0.net.65889         :    35.5    3.2   10982.0   20000    55      62   5529   10906    3565    55
   5 lc0.net.65988         :    34.8    3.2   10963.0   20000    55      50   5474   10978    3548    55
   6 lc0.net.66234         :    34.8    3.3   10962.5   20000    55      51   5495   10935    3570    55
   7 lc0.net.66103         :    34.7    3.3   10961.0   20000    55      56   5449   11024    3527    55
   8 lc0.net.65762         :    34.4    3.2   10952.0   20000    55      57   5494   10916    3590    55
   9 lc0.net.66275         :    34.0    3.3   10940.5   20000    55      58   5406   11069    3525    55
  10 lc0.net.65830         :    33.5    3.2   10927.5   20000    55      68   5457   10941    3602    55
  11 lc0.net.66053         :    32.4    3.3   10897.5   20000    54      71   5363   11069    3568    55
  12 lc0.net.65726         :    31.1    3.3   10862.0   20000    54      65   5317   11090    3593    55
  13 lc0.net.65297         :    30.2    3.2   10836.0   20000    54      59   5374   10924    3702    55
  14 lc0.net.65373         :    29.7    3.3   10822.0   20000    54      85   5360   10924    3716    55
  15 lc0.net.65162         :    27.2    3.2   10754.0   20000    54      93   5255   10998    3747    55
  16 lc0.net.65374         :    23.7    3.2   10657.5   20000    53      90   5127   11061    3812    55
  17 lc0.net.T60B.7-135    :    20.8    3.2   10576.5   20000    53      63   4994   11165    3841    56
  18 lc0.net.T60B.7-105    :    20.0    3.2   10556.0   20000    53     100   4984   11144    3872    56
  19 lc0.net.62948         :     5.9    3.2   10163.0   20000    51      84   4400   11526    4074    58
  20 lc0.net.64255         :     3.6    3.2   10100.0   20000    51      99   4463   11274    4263    56
- 21 Stockfish.dev         :     0.0   ----  184023.0  400000    46     ---  73595  220856  105549    55

White advantage = 57.57 +/- 0.36
Draw rate (equal opponents) = 57.43 % +/- 0.08

PGN:
https://pixeldrain.com/u/rGomvLvz

[свернуть]

Владимир001 · 29.11.2020, 01:50

Match: ERET test (Eigenmann Rapid Engine Test) with 111 test positions
time control: analysis with time limit of 60s per move/position

Развернуть для просмотра

LC0-version: v0.21.2 up to v0.26.3
LC0-options: -Backend=cudnn -NNcache=3000000 -MaxCcollisionEvents=256
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
AB engine options: threads=4, hash=4096 MB
hardware: mobile Geforce GTX 1050 TI 4GB, mobile i7-7700HQ 4x2.8GHz (8 threads with HT)
software: Arena GUI, "Automatic Analysis" feature with EPD file.
Tablebases: Syzygy 5-men on SSD
Comment: EPD file: https://glarean-magazin.ch/wp-conten...gine-Chess.zip
Results (solutions, percent):

Код:

A) CPU engines (mobile i7-7700HQ 4x2.8GHz):
Crystal-NNUE_271020_4CPU        :  98 = 88.3%   *net: nn-eba324f53044.nnue*
CorChess NNUE 1.3_081120 4CPU   :  97 = 87.4%   *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE Pure 4CPU     :  97 = 87.4%   *Pure NNUE eval*, *net: nn-c3ca321c51c9.nnue*
Cfish 081120 NNUE 4CPU          :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
Stockfish 20111513 NNUE 4CPU    :  96 = 86.5%   *net: nn-c3ca321c51c9.nnue*
CorChess NNUE 1.3_171120 4CPU   :  95 = 85.6%   *net: nn-c3ca321c51c9.nnue*
Cfish 151120 NNUE 4CPU          :  94 = 84.7%   *net: nn-c3ca321c51c9.nnue*
Stockfish 12 4CPU (NNUE)        :  94 = 84.7%   *net: nn-82215d0fd0df.nnue*
BrainFish_200724_4CPU           :  92 = 82.9%
Stockfish 20073110 4CPU         :  92 = 82.9%   *Stockfish Classic, last version before NNUE*
Stockfish 11 4CPU               :  91 = 82.9%
Stockfish 10 4CPU               :  90 = 81.1%
Komodo-13.2.5_4CPU              :  88 = 79.3%
Komodo 12.1.1 4CPU (freeware)   :  84 = 75.7%
RubiChess 1.8 NNUE 4CPU         :  84 = 75.7%   *net: nn-803c91ad5c-20201107.nnue*
SlowChess Blitz Cl. v2.4 4CPU   :  83 = 74.8%
Nemorino 6.00 NNUE 4CPU         :  77 = 69.4%   *net: nemorino_net_6.nnue*
Xiphos 0.6 4CPU                 :  76 = 68.4%
Ethereal 12.75 pext-avx2 4CPU   :  73 = 65.8%
Igel 2.8.0 NNUE 4CPU            :  72 = 64.9%   *net: night nurse v0.2.5b*
Laser 1.7 4CPU                  :  72 = 64.9%
Komodo-MCTS-13.2.5_4CPU         :  62 = 55.9%
Lc0.net.703350-blas_4CPU        :  60 = 54.1%
Fire 7.1 4CPU                   :  60 = 54.1%
Lc0.net.DK.Bad_Gyal_7_blas_4CPU :  57 = 51.4%
Lc0.net.LD2_blas_4CPU  (10x128) :  56 = 50.4%

Код:

B) GPU engines (mobile Geforce GTX 1050 TI 4GB):
Lc0-0.22.0-dev.Leelenstein 14.3 :  83 = 74.8%
Lc0.net.66350 (24x320)          :  82 = 73.9%   <== NEW. latest tested T60 net
Lc0.net.66320 (24x320)          :  82 = 73.9%   <== NEW
Lc0.net.66167 (24x320)          :  82 = 73.9%   *slightly better than J94-60 against Corchess NNUE at 5min+5s TC*
Lc0.net.65981 (24x320)          :  82 = 73.9%
Lc0.net.JH.J92-270  (30x384)    :  81 = 73.0%   ** TCEC Cup 7 net **
Lc0.net.JH.J92-260  (30x384)    :  81 = 73.0%
Lc0.net.JH.J92-210  (30x384)    :  81 = 73.0%
Lc0.net.66338 (24x320)          :  81 = 73.0%   <== NEW
Lc0.net.66337 (24x320)          :  81 = 73.0%   <== NEW
Lc0.net.JH.J92-280  (30x384)    :  80 = 72.1%   *best net against SF Dev + Corchess NNUE at 5min+5s TC*
Lc0.net.JH.J94-80  (30x384)     :  80 = 72.1%
Lc0.net.JH.J94-60  (30x384)     :  80 = 72.1%
Lc0.net.JH.J92-240  (30x384)    :  80 = 72.1%
Lc0.net.66222 (24x320)          :  80 = 72.1%   <== NEW
Lc0.net.66205 (24x320)          :  80 = 72.1%
Lc0.net.66114 (24x320)          :  80 = 72.1%
Lc0.net.66000 (24x320)          :  80 = 72.1%
Lc0.net.65500 (24x320)          :  80 = 72.1%
Lc0.net.JH.J94-40  (30x384)     :  79 = 71.2%
Lc0.net.JH.J92-330  (30x384)    :  79 = 71.2%   ** TCCE S19 FRC2 + CCC Blitz Championship net **
Lc0.net.JH.J92-250  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-230  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-220  (30x384)    :  79 = 71.2%
Lc0.net.JH.J92-190  (30x384)    :  79 = 71.2%   ** TCEC S19 SuFi net **
Lc0.net.66300 (24x320)          :  79 = 71.2%   <== NEW
Lc0.net.66250 (24x320)          :  79 = 71.2%
Lc0.net.66233 (24x320)          :  79 = 71.2%

[свернуть]

Владимир001 · 29.11.2020, 10:59

вы можете взглянуть на тесты здесь: https://docs.google.com/spreadsheets...83391972662922

Омегазеро · 29.11.2020, 13:05

По вменяемым тестам сеть 310 гораздо сильнее сети 330

Стокфиш на 23 потоках против Лилы на 2070 Super c большим контролем (5 минут + 5 секунд)

Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks)
Time control: 5m+5s
Нardware: Geforce RTX 2070S & AMD Threadripper 3970X
SF options: Threads=23 Hash=4096
Lc0 version: v0.26.3
Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0
Book: openings-dd-4ply-100.pgn, sequential, color reversed
Tablebases: 6-man syzygy
Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000

Код:

# PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L
-  1 stockfish_201028    :     0.0   ----   622.0    1200  51.8      50   66  1112   22
   2 lc0.net.J92-310     :     0.0   12.0   100.0     200  50.0      92    6   188    6
   3 lc0.net.J92-270     :   -12.3   12.4    96.5     200  48.3      58    3   187   10
+  4 lc0.net.J92-320     :   -14.1   13.1    96.0     200  48.0      58    4   184   12
   5 lc0.net.J92-330     :   -15.8   12.6    95.5     200  47.8      57    1   189   10
   6 lc0.net.J92-280     :   -17.6   13.1    95.0     200  47.5      50    5   180   15
   7 lc0.net.J92-190     :   -17.6   13.0    95.0     200  47.5     ---    3   184   13

Тест одна позиция на ход

Код:

Time control: 1 Node/move
Book: Chad-opening book with 100 000 different openings with the most popular human openings. 
Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black.

J92-310:             19     Elo    (Test with 200k games)
J94-60:              18     Elo    (Test with 200k games)
J92-320:             17     Elo    (Test with 200k games)
J92-270:             17     Elo    (Test with 200k games)
J92-330:             14     Elo    (Test with 200k games)
J92-280:             11     Elo    (Test with 200k games)
J92-260:             11     Elo    (Test with 200k games)
J92-290:             10     Elo    (Test with 200k games)
J92-240:              8     Elo    (Test with 200k games)

Почему всюду посылают сеть 330, а не 310? Загадка

sergey1963 · 29.11.2020, 13:21

Омегазеро,
ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39..
однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990...

Свинья · 29.11.2020, 13:37

Цитата: Сообщение от sergey1963

Омегазеро,
ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39..
однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990...

Как вообще можно сравнивать производительность видеокарты и процессора? разный принцип работы совершенно.

Viktor · 29.11.2020, 13:52

В моих "неправильных" тестах сети J92-300 и J92-290 лучшие.
Их разница настолько невелика, что бессмысленно вести какой-то спор.

Maratka · 29.11.2020, 14:20

Цитата: Сообщение от Омегазеро

По вменяемым тестам сеть 310 гораздо сильнее сети 330

PLAYED =200?
Это вменяемый тест?

svoitsl · 29.11.2020, 18:18

Цитата: Сообщение от Maratka

Это вменяемый тест?

тут важно, что ошибка меньше разницы, поэтому вывод, что лучше сделать можно.
хотя возможно, что тут привена только половина ошибки....

20.11.2020, 23:10	#7291
svoitsl Гроссмейстер Регистрация: 19.04.2017 Сообщений: 3,873 Сказал(а) спасибо: 884 Поблагодарили 2,200 раз(а) в 1,502 сообщениях Репутация: 108	Re: LCZero Цитата: Сообщение от Владимир001 https://slides.com/crem/lc0#/17 За почти полтора года так и не обновилась, а ведь какие были надежды. Да и тут Crem нечасто стал появляться.....

21.11.2020, 21:56	#7292
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero https://www.twitch.tv/navratil25

21.11.2020, 22:03	#7293
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match Gauntlet LC0-version: lc0-v0.26.3 cudnn-version Развернуть для просмотра LC0 options: Standard option except Threads=1, NNCacheSize=0, MinibatchSize=1. Time control: 1 Node/move Hardware: i7-4790 with 16 GByte RAM + GTX1650 Speed: Not important for this type of testing. Book: Chad-opening book with 100 000 different openings with the most popular human openings. Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black. Tablebases: No Tablebases. Adjudication: Only 5-men syzygy Software: CuteChess 1.2.0 https://github.com/cutechess/cutechess/releases / Graphic tools is programmed by glbchess64, in Python programming tools. Comment: This is result out of Ordo 1.2.6 https://github.com/michiguel/Ordo/releases/tag/v1.2.6 Ordo string: ordo.exe -Q -N 0 -D -a 0 -A "J92-145" -W -n4 -s500 -G -V -U "0,1,2,3,4,5,6,7,8,9,10" -j stats.txt -o rating.txt -p games.pgn Results: pgn-file: https://ufile.io/ws14dp08 Explanation: Trying to find the best net in clean policy Elo. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 J94-60 : 18 1 105104.0 200000 52.6 100 67958 74292 57750 37.1 2 J92-145 : 0 1 94896.0 200000 47.4 --- 57750 74292 67958 37.1 White advantage = 28.72 +/- 0.57 Draw rate (equal opponents) = 37.42 % +/- 0.10 My list until now (Elo against J92-145) 1 Node/move: Код: White advantage = 23.98 +/- 0.57 Draw rate (equal opponents) = 36.51 % +/- 0.10 J92-310: 19 Elo (Test with 200k games) J94-60: 18 Elo (Test with 200k games) J92-320: 17 Elo (Test with 200k games) J92-270: 17 Elo (Test with 200k games) J92-330: 14 Elo (Test with 200k games) J92-280: 11 Elo (Test with 200k games) J92-260: 11 Elo (Test with 200k games) J92-290: 10 Elo (Test with 200k games) J92-240: 8 Elo (Test with 200k games) J94-40: 6 Elo (Test with 117k games) J92-210: 5 Elo (Test with 200k games) J92-220: 3 Elo (Test with 200k games) J92-205: 3 Elo (Test with 200k games) J92-230: 2 Elo (Test with 200k games) J92-190: 1 Elo (Test with 200k games) J92-145: 0 Elo (Reference) J92-100: -2 Elo (Test with 200k games) [свернуть]

21.11.2020, 22:06	#7294
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: J92/J94 vs SF-12 (16 threads) Развернуть для просмотра Hardware: RTX 3080, i9-10900kf Time control: 5s + 0.5s (time forfeit disabled) Openings: TCEC SuFi 10-19 (500 pos.) Lc0 26.3 cuda-fp16: threads=2, move-overhead=0, mlh=on minibatch-size: J92/94=204, ls-15=136, 66086=112 mlh tcec-19: moves-left-max-effect=0.2, moves-left-threshold=0, moves-left-slope=0.004, moves-left-scaled-factor=1, moves-left-quadratic-factor=0, moves-left-constant-factor=0 Stockfish 12 bmi2: threads=16, hash=256, move overhead=0 TBs and adj.: syzygy 5-men, draw 5 moves 5cp move 30, resign (two-sided) 5 moves 600cp Comments: All J94 above J92-330, with J94-40 having much less losses (might be a statistical fluke). T60 catching on 384x30 nets here, and about on par with ls-15. J92-280 lags behind J92-330 and the J94's. Games: https://gofile.io/d/iSDjXg Код: # PLAYER : RATING ERROR PLAYED (%) CFS W D L D(%) 1 lc0-263-j94-40 : 23.7 9.8 1000 53.20 70 210 644 146 64.40 2 lc0-263-j94-60 : 19.2 12.9 1000 52.60 73 220 612 168 61.20 3 lc0-263-j94-80 : 13.7 11.2 1000 51.85 58 211 615 174 61.50 4 lc0-263-j92-330 : 11.8 12.1 1000 51.60 69 202 628 170 62.80 5 lc0-263-j92-280 : 7.8 9.5 1000 51.05 92 200 621 179 62.10 6 stockfish-12-16T : 0.0 4.1 8000 48.86 50 1417 4984 1599 62.30 7 lc0-263-j92-190 : 0.0 13.0 1000 50.00 65 173 654 173 65.40 8 lc0-263-66086 : -4.1 11.6 1000 49.45 53 186 617 197 61.70 9 lc0-263-ls-15 : -4.8 11.2 1000 49.35 --- 197 593 210 59.30 White advantage = 80.34 +/- 2.59 Draw rate (equal opponents) = 67.44 % +/- 0.57 [свернуть]

21.11.2020, 22:11	#7295
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: Match of CorChess NNUE 4CPU against Lc0 66167 Развернуть для просмотра Lc0-version: v0.26.3 Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020) CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue Time control: 5min + 5s Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed Tablebases: Syzygy 5-men on SSD Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication Software: Arena 3.5.1, ponder=off Elo rating: Ordo 1.2.6 Comments: First T60 test at those conditions. ERET test results included in the table. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) ERET test 1 Corchess NNUE 1.3_081120_4CPU : 0.0 ---- 290.5 500 58.1 100 84 413 3 82.6 97/111 2 Lc0.net.JH.J92-280 : -46.1 25.5 43.5 100 43.5 71 1 85 14 85.0 80/111 3 Lc0.net.JH.J94-40 : -57.0 27.1 42.0 100 42.0 50 0 84 16 84.0 79/111 4 Lc0.net.66167 : -57.0 26.2 42.0 100 42.0 58 1 82 17 82.0 82/111 <== NEW 5 Lc0.net.JH.J94-60 : -60.6 26.8 41.5 100 41.5 65 1 81 18 81.0 80/111 6 Lc0.net.JH.J92-330 : -67.9 27.9 40.5 100 40.5 --- 0 81 19 81.0 79/111 https://pixeldrain.com/u/1sdJ6VXS [свернуть]

21.11.2020, 22:14	#7296
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: lc0.26.J94-60 vs Stockfish 12 4CPU - 100 rapid games Развернуть для просмотра LC0-version: v26.0 cuda LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0 Time control: 15min + 5s (CCRL 40/15) Hardware: CPU i7-8700 4cores vs 1070Ti GPU Book: Custom short lines played from both sides (!sheet4 for opening list) Tablebase: 6 piece syzygy (DTZ + WDL) for both engines Software: Arena Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower) Context: !sheet4 for test history Ordo w/ comparison to previous scores: Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L 1 lc0.26.J92-300 : 3522.0 21.2 50.0 100 50 50 7 86 7 - 2 Stockfish_12_x64-bmi2 : 3522.0 ---- 257.5 500 52 63 33 449 18 3 lc0.26.J92-270 : 3518.5 21.1 49.5 100 50 68 3 93 4 4 lc0.26.J92-330 : 3511.4 21.7 48.5 100 49 50 7 83 10 5 lc0.26.J92-190 : 3511.4 21.0 48.5 100 49 88 1 95 4 + 6 lc0.26.J94-60 new : 3493.7 22.9 46.0 100 46 --- 0 92 8 Код: lc0.26.J94-60 - Stockfish_12_x64-bmi2 : 46.0/100 0-8-92 (===============0==0=============0====0===============================0===0===========0==========0===) 46% -> 3494 [свернуть]

23.11.2020, 13:17	#7298
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: Gauntlet SF201028 vs J92-310 Развернуть для просмотра Hardware: Geforce RTX 2070S & AMD Threadripper 3970X Lc0 version: v0.26.3 Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0 SF options: Threads=23 Hash=4096 Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks) Time control: 5m+5s Book: openings-dd-4ply-100.pgn, sequential, color reversed Tablebases: 6-man syzygy Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000 Software: cutechess-cli Comments: Despite the SPRT test ranking J92-330 over J92-310, an ordo of J92-330 and J92-310 only gives a CFS of 99% in favour of J92-310. J92-330 was doing really well with the more common openings (first 75%), but then had problems with the final 25% of less common openings. An example of this is the Latvian Gambit, where all the other J92 nets that I tested had white wins for SF and Lc0, but J92-330 only managed a draw as white. I have attached the analysis of the openings as a spreadsheet. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L - 1 stockfish_201028 : 0.0 ---- 518.0 1000 51.8 50 54 928 18 2 lc0.net.J92-310 : 0.0 12.1 100.0 200 50.0 91 6 188 6 3 lc0.net.J92-270 : -12.3 12.7 96.5 200 48.3 65 3 187 10 + 4 lc0.net.J92-330 : -15.8 13.1 95.5 200 47.8 58 1 189 10 5 lc0.net.J92-190 : -17.6 12.9 95.0 200 47.5 50 3 184 13 6 lc0.net.J92-280 : -17.6 12.7 95.0 200 47.5 --- 5 180 15 White advantage = 18.27 +/- 2.98 Draw rate (equal opponents) = 95.84 % +/- 0.86 2 файла: https://pixeldrain.com/l/drgxAWrL#item=0 [свернуть]

23.11.2020, 13:22	#7299
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero https://www.twitch.tv/navratil25 NN-testrun of Lc0 0.26.3 J94-80 finished: https://www.sp-cc.de/nn-vs-sf-testing.htm

24.11.2020, 12:47	#7301
Viktor Эксперт Регистрация: 07.06.2016 Сообщений: 5,039 Сказал(а) спасибо: 9,752 Поблагодарили 10,652 раз(а) в 3,869 сообщениях Репутация: 621	Re: LCZero У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается. У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности. В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав! В шахматах Фишера это несоответствие еще больше!

24.11.2020, 12:50	#7302
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: Match of CorChess NNUE 4CPU against Lc0 65981 Развернуть для просмотра Lc0-version: v0.26.3 Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 CorChess-version: Corchess NNUE 1.3 081120 x64 bmi2 (08.11.2020) CorChess-options: threads=4 hash=4096 MB, NNUE=true, net=nn-c3ca321c51c9.nnue Time control: 5min + 5s Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (with HT), mobile Geforce GTX 1050 TI 4GB Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed Tablebases: Syzygy 5-men on SSD Speed: around 20k nodes per move for J92/J94 // T60: 1.5k nps, J92/J94: 1.0k nps, CorChess NNUE 4CPU: 4112k nps Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication Software: Arena 3.5.1, ponder=off Elo rating: Ordo 1.2.6 Comments: With 65981 an earlier T60 net than 66167 was tested which had the same outstanding ERET test result. ERET test results included in the table. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) ERET test 1 Corchess NNUE 1.3_081120_4CPU : 0.0 ---- 349.5 600 58.3 100 103 493 4 82.2 97/111 2 Lc0.net.JH.J92-280 : -46.1 24.3 43.5 100 43.5 72 1 85 14 85.0 80/111 3 Lc0.net.JH.J94-40 : -57.0 26.6 42.0 100 42.0 50 0 84 16 84.0 79/111 4 Lc0.net.66167 : -57.0 28.1 42.0 100 42.0 57 1 82 17 82.0 82/111 5 Lc0.net.JH.J94-60 : -60.6 27.8 41.5 100 41.5 57 1 81 18 81.0 80/111 6 Lc0.net.65981 : -64.2 28.2 41.0 100 41.0 57 1 80 19 80.0 82/111 <== NEW 7 Lc0.net.JH.J92-330 : -67.9 28.6 40.5 100 40.5 --- 0 81 19 81.0 79/111 https://pixeldrain.com/u/HwLTFyoR [свернуть]

24.11.2020, 13:03	#7303
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 3,443 Сказал(а) спасибо: 53 Поблагодарили 4,374 раз(а) в 2,269 сообщениях Репутация: 143	Re: LCZero Цитата: Сообщение от Viktor У Лилы частенько оценка расходится со Стокфишем. Может это и хорошо, но в таких случаях кто-то ведь ошибается. У Лилы чаще она оптимистична. Порой у Стокфиша уже критична (за единицу), а Лила упорно проявляет оптимизм. Но далеко не всегда это соответствует объективной реальности. В тоже время неоднократно встречал оценку Лилы 0.7-0.8, а Стокфиш при этом рисует 0.00 и оказывается прав! В шахматах Фишера это несоответствие еще больше! Оба движка не точены под шахматы фишера. На самом деле даже простейший тюнинг выходного слоя в стоке даёт существенный прирост эло для соответствующей книги, на которой он сделан: https://tests.stockfishchess.org/tes...cbf42301d6b163 https://tests.stockfishchess.org/tes...cbf42301d6b175 И это же даже не переобучение. На 100% уверен, что подобную вещь можно сделать и для FRC. Поэтому на самом деле сделать стокфиш / лилу, которые будут куда лучше играть FRC, не так уж и сложно. А текущие версии играют FRC (относительно) плохо, поэтому и расхождение больше - они куда как чаще неправы. Ну вот даже в TCEC идёт бонус - сток в группе с элли, лилой и комодо слил 2 игры, причём одну белыми, в финале Лила за первые 8 игр слила 5 (!) - давно такое мы наблюдали в даже кривоватых дебютах? __________________ Развернуть для просмотра [свернуть]

25.11.2020, 00:00	#7304
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: T60 recent Elo Развернуть для просмотра Lc0-version: 26.1 Lc0 options: option.SyzygyPath="C:/tb" Time/Node control: 800 nodes per move Hardware: RTX 2080, AMD 2950X Book: book-ply12-unifen-Q-0.1-0.5.pgn, random with reverse. Tablebases: 6-man Syzygy Adjudication: 6-man Syzygy and -draw movenumber=50 movecount=6 score=10 -resign movecount=5 score=500 twosided=true Chess Interface: cutechess-cli Comments: Small Elo gain in recent T60, consistent with self-Elo. Results: Код: # PLAYER : RATING ERROR POINTS PLAYED (%) W L D D(%) CFS(%) 1 lc0.net.66260 : 6.2 4.0 5086.0 10000 51 1804 1632 6564 66 100 2 lc0.net.65700 : 0.0 ---- 4914.0 10000 49 1632 1804 6564 66 --- https://pixeldrain.com/u/MjsESLKN [свернуть]

26.11.2020, 14:42	#7307
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero С дискорд: NN-тестовый прогон Lc0 0.26.3 65981 завершен. Эта сеть не очень новая, но была предложена мне. И результат впечатляющий - явный прогресс до последнего теста T60 (65732). Сейчас протестирую новый Т60 (66309) - посмотрим, так ли сильны и последние Т60, или 65981 был одиночным «пиком». https://www.sp-cc.de/nn-vs-sf-testing.htm

27.11.2020, 01:30	#7308
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: 66193 vs J94-60 Развернуть для просмотра LC0 version: v0.26.3 LC0 options: Threads=2 Time control: N/A Hardware: AMD Phenom II X6 1035T Processor, GTX 1660 Speed: J94-60: 2000 npm \| 66193: Posted next to results Book: 10ply-100k Book options: Opening order: Sequential. Play all openings for both white and black. Tablebases: No Tablebases. Adjudication: -draw movenumber=40 movecount=4 score=8 -resign movecount=4 score=500 Software: CuteChess-cli Comments: More testing to try to find the ratio between 24b nets and 30b nets where their strength is relatively equal. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 J94-60 : 9.8 9.0 616.5 1200 51 98 146 941 113 78 2 66193 : 0.0 ---- 583.5 1200 49 --- 113 941 146 78 <== 3500 NPM White advantage = 42.00 +/- 4.66 Draw rate (equal opponents) = 81.48 % +/- 1.24 # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 J94-60 : 2.7 8.8 604.5 1200 50 72 125 959 116 80 2 66193 : 0.0 ---- 595.5 1200 50 --- 116 959 125 80 <== 3700 NPM White advantage = 33.69 +/- 4.51 Draw rate (equal opponents) = 81.92 % +/- 1.19 # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 66193 : 0.0 ---- 606.0 1200 51 79 129 954 117 80 <== 4000 NPM 2 J94-60 : -3.6 8.7 594.0 1200 50 --- 117 954 129 80 White advantage = 45.83 +/- 4.52 Draw rate (equal opponents) = 83.40 % +/- 1.24 3 files: https://pixeldrain.com/l/t7WEdG1w#item=0 [свернуть]

27.11.2020, 01:33	#7309
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: lc0.26.T60_66234 vs Stockfish 12 4CPU - 100 rapid games Развернуть для просмотра LC0-version: v26.0 cuda LC0-options: --backend=multiplexing --cpuct=2.147 --cpuct-factor=2.815 --cpuct-base=18368 --fpu-value=0.443 --policy-softmax-temp=1.607 --moves-left-max-effect=0.1 --moves-left-threshold=0.5 --moves-left-slope=0.007 --moves-left-quadratic-factor=0 --moves-left-scaled-factor=1 --moves-left-constant-factor=0 Time control: 15min + 5s (CCRL 40/15) Hardware: CPU i7-8700 4cores vs 1070Ti GPU Book: Custom short lines played from both sides (!sheet4 for opening list) Tablebase: 6 piece syzygy (DTZ + WDL) for both engines Software: Arena Speed: Leela ratio ~0.85; Lc0 npm~200K, SF npm~200M (based on 24x256 nets, SV nets much slower) Context: Best ever vanilla T60 result !sheet4 for test history Ordo w/ comparison to previous scores: Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L - 1 Stockfish_12_x64-bmi2 : 3522.0 ---- 106.5 200 53 79 16 181 3 + 2 lc0.26.T60_66234 : 3515.0 17.4 49.0 100 49 98 3 92 5 3 lc0.26.T60_64924 : 3483.3 23.8 44.5 100 45 --- 0 89 11 lc0.26.T60_66234 - Stockfish_12_x64-bmi2 : 49.0/100 3-5-92 (======0========================0========================0================010=============1==1=======) 49% [свернуть]

27.11.2020, 15:31	#7310
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero LTC Tuning Test – Default (Kiudee) v ZZ new tune Развернуть для просмотра Hardware: i-10980ex CPU 36 threads 64GB, gpu RTX 3080 + 2070 SF-dev 16/11/2020 vs. LC0 JH-94x80 nets LC0-version: v0.26.3 SF vnni512 Default parameters "Cpuct": 2.147:,"CPuctBase": 18368.00,"CPuctFactor": 2.815 "FpuValue": 0.443, "PolicyTemperature": 1.607, ZZ tune "Cpuct": 1.350,"CPuctBase": 20253.00,"CPuctFactor": 3.468,"FpuValue": 0.228, "PolicyTemperature": 1.497, Software: Octagon gui Time control: 300 + 5 (40,000 nps & 700,000 npm) Book: SuFi 19, order=sequential Tablebases: 6-men Comment: There is little discernment between Kiudee Default and the new ZZ tune A very good result for lc0 when compared to the actual Sufi, with a faster tc and the same crazy Sufi book. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 stockfish-161120 : 2 18 101.0 200 50.5 57 31 140 29 70.0 2 Lc0-j94-80 D : -1 28 49.5 100 49.5 50 14 71 15 71.0 3 Lc0-j94-80 ZZ : -1 28 49.5 100 49.5 --- 15 69 16 69.0 White advantage = 0.00 +/- 0.00 Draw rate (equal opponents) = 70.01 % +/- 3.24 MEDIANS Код: Name Games Depth NPS Nodes ------------------------------------------------------------------------------------- stockfish-161120 : 200 38 33100814 216920585 Lc0-j94-80 D : 100 14 42499 724816 Lc0-j94-80 ZZ : 100 15 39349 702141 Zztune test [свернуть]

27.11.2020, 15:34	#7311
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero Match: Gauntlet SF201028 vs J92-320 Развернуть для просмотра Hardware: Geforce RTX 2070S & AMD Threadripper 3970X Lc0 version: v0.26.3 Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0 SF options: Threads=23 Hash=4096 Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks) Time control: 5m+5s Book: openings-dd-4ply-100.pgn, sequential, color reversed Tablebases: 6-man syzygy Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000 Software: cutechess-cli Comments: I decided to test J92-320 without a prior SPRT test to see how it compared to J92-310 and J92-330. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L - 1 stockfish_201028 : 0.0 ---- 622.0 1200 51.8 50 66 1112 22 2 lc0.net.J92-310 : 0.0 12.0 100.0 200 50.0 92 6 188 6 3 lc0.net.J92-270 : -12.3 12.4 96.5 200 48.3 58 3 187 10 + 4 lc0.net.J92-320 : -14.1 13.1 96.0 200 48.0 58 4 184 12 5 lc0.net.J92-330 : -15.8 12.6 95.5 200 47.8 57 1 189 10 6 lc0.net.J92-280 : -17.6 13.1 95.0 200 47.5 50 5 180 15 7 lc0.net.J92-190 : -17.6 13.0 95.0 200 47.5 --- 3 184 13 White advantage = 18.74 +/- 2.67 Draw rate (equal opponents) = 95.75 % +/- 0.77 https://pixeldrain.com/u/B7jpfS83 [свернуть]

29.11.2020, 10:59	#7314
Владимир001 Гроссмейстер Регистрация: 19.12.2019 Сообщений: 3,588 Сказал(а) спасибо: 3,344 Поблагодарили 4,426 раз(а) в 2,127 сообщениях Репутация: 157	Re: LCZero вы можете взглянуть на тесты здесь: https://docs.google.com/spreadsheets...83391972662922

29.11.2020, 13:05	#7315
Омегазеро Гроссмейстер Регистрация: 20.01.2019 Сообщений: 1,058 Сказал(а) спасибо: 2 Поблагодарили 696 раз(а) в 342 сообщениях Репутация: 89	Re: LCZero По вменяемым тестам сеть 310 гораздо сильнее сети 330 Стокфиш на 23 потоках против Лилы на 2070 Super c большим контролем (5 минут + 5 секунд) Speed: Lc0:12.7 kN/s, SF201029: 34,266 kN/s (from benchmarks) Time control: 5m+5s Нardware: Geforce RTX 2070S & AMD Threadripper 3970X SF options: Threads=23 Hash=4096 Lc0 version: v0.26.3 Lc0 options: Backend=cuda-fp16 NNCacheSize=4000000 MinibatchSize=80 option.MaxOutOfOrderEvalsFactor=2.4 MovesLeftMaxEffect=0.2 MovesLeftThreshold=0.0 MovesLeftSlope=0.004 MovesLeftQuadraticFactor=0.0 MovesLeftScaledFactor=1.0 MovesLeftConstantFactor=0.0 Book: openings-dd-4ply-100.pgn, sequential, color reversed Tablebases: 6-man syzygy Adjudication: 6-man TB, -draw movenumber=35 movecount=5 score=15 -resign movecount=5 score=1000 Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L - 1 stockfish_201028 : 0.0 ---- 622.0 1200 51.8 50 66 1112 22 2 lc0.net.J92-310 : 0.0 12.0 100.0 200 50.0 92 6 188 6 3 lc0.net.J92-270 : -12.3 12.4 96.5 200 48.3 58 3 187 10 + 4 lc0.net.J92-320 : -14.1 13.1 96.0 200 48.0 58 4 184 12 5 lc0.net.J92-330 : -15.8 12.6 95.5 200 47.8 57 1 189 10 6 lc0.net.J92-280 : -17.6 13.1 95.0 200 47.5 50 5 180 15 7 lc0.net.J92-190 : -17.6 13.0 95.0 200 47.5 --- 3 184 13 Тест одна позиция на ход Код: Time control: 1 Node/move Book: Chad-opening book with 100 000 different openings with the most popular human openings. Book options: Opening order: Sequential. Play each opening twice. Play all opening in the book both for White and Black. J92-310: 19 Elo (Test with 200k games) J94-60: 18 Elo (Test with 200k games) J92-320: 17 Elo (Test with 200k games) J92-270: 17 Elo (Test with 200k games) J92-330: 14 Elo (Test with 200k games) J92-280: 11 Elo (Test with 200k games) J92-260: 11 Elo (Test with 200k games) J92-290: 10 Elo (Test with 200k games) J92-240: 8 Elo (Test with 200k games) Почему всюду посылают сеть 330, а не 310? Загадка

29.11.2020, 13:21	#7316
sergey1963 Гроссмейстер Регистрация: 31.05.2016 Сообщений: 4,945 Сказал(а) спасибо: 9,109 Поблагодарили 5,437 раз(а) в 2,942 сообщениях Репутация: 417	Re: LCZero Омегазеро, ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39.. однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990...

29.11.2020, 13:37	#7317
Свинья 2 разряд Регистрация: 22.03.2018 Сообщений: 352 Сказал(а) спасибо: 44 Поблагодарили 173 раз(а) в 109 сообщениях Репутация: 26	Re: LCZero Цитата: Сообщение от sergey1963 Омегазеро, ну давайте прикинем- 2070с- это 3060 или половина от 3090, 4 х 3090 выдадут как 8 х 23=184 потока 39.. однако сегодня есть уже и 5990- 64 ядра со 128 потоками и производительностью на четверть лучше 3990... Как вообще можно сравнивать производительность видеокарты и процессора? разный принцип работы совершенно.

29.11.2020, 13:52	#7318
Viktor Эксперт Регистрация: 07.06.2016 Сообщений: 5,039 Сказал(а) спасибо: 9,752 Поблагодарили 10,652 раз(а) в 3,869 сообщениях Репутация: 621	Re: LCZero В моих "неправильных" тестах сети J92-300 и J92-290 лучшие. Их разница настолько невелика, что бессмысленно вести какой-то спор.

29.11.2020, 14:20	#7319
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 10,381 Сказал(а) спасибо: 2,816 Поблагодарили 5,278 раз(а) в 3,795 сообщениях Репутация: 192	Re: LCZero Цитата: Сообщение от Омегазеро По вменяемым тестам сеть 310 гораздо сильнее сети 330 PLAYED =200? Это вменяемый тест?

29.11.2020, 18:18	#7320
svoitsl Гроссмейстер Регистрация: 19.04.2017 Сообщений: 3,873 Сказал(а) спасибо: 884 Поблагодарили 2,200 раз(а) в 1,502 сообщениях Репутация: 108	Re: LCZero Цитата: Сообщение от Maratka Это вменяемый тест? тут важно, что ошибка меньше разницы, поэтому вывод, что лучше сделать можно. хотя возможно, что тут привена только половина ошибки....

Здесь присутствуют: 5 (пользователей: 0 , гостей: 5)

Опции темы
Версия для печати Отправить по электронной почте
Опции просмотра
Линейный вид Комбинированный вид Древовидный вид