LCZero

[Alex_Zet]

Цитата: Сообщение от otodranik

Сейчас новый проект ИИ - lczero! В перспективах преодолеть 4000 и 5000 ЕЛО http://lczero.org/

Давайте не спеша разберемся что это за чудо.

Leela Chess Zero (LCZero)


https://www.youtube.com/watch?v=yKVuKqkK8TA

http://www.talkchess.com/forum/viewtopic.php?t=66452

https://chessprogramming.wikispaces.com/LCZero

https://github.com/glinscott/leela-chess

https://www.reddit.com/r/chess/comme...lczeros_style/

http://www.bhagwad.com/blog/2018/per...ific-elo.html/

[Rom77]

sovaz1997, а версию Лилы для CPU не пробовали запускать? Для такой нейросети можно получить около 1000 узлов в секунду на максимальном числе потоков.

[sovaz1997]

Rom77, попробую. У меня на 1-м потоке около 200 nps, могу на 7-ми попробовать. Странно, по идее, на видеокарте должно быть быстрее.

[Aster]

122 сеть с v0.5 развивает 500 nps на моём поганеньком ноутбуке спокойно. Думаю, на 860 будет спокойно под 800-900.

[Aster]

Цитата: Сообщение от sovaz1997

Странно, по идее, на видеокарте должно быть быстрее.

Плохо оптимизирован GPU код.

[sovaz1997]

Aster, вероятно, код оптимизирован именно под новые GPU.

Скорость на 7 потоках высокая (с каждой новой глубиной увеличивается).

info depth 15 nodes 246 nps 690 score cp -10 winrate 47.21% time 354 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2
info depth 16 nodes 426 nps 758 score cp -4 winrate 48.67% time 560 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2
info depth 17 nodes 759 nps 845 score cp -1 winrate 49.69% time 896 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7
info depth 18 nodes 1333 nps 901 score cp 0 winrate 50.17% time 1477 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O
info depth 19 nodes 2355 nps 968 score cp 1 winrate 50.50% time 2430 pv e4 e6 d4 d5 e5 c5 c3 h6 Nf3 Nc6 Be2 Nge7 O-O Ng6 Be3
info depth 20 nodes 4196 nps 1026 score cp 2 winrate 50.70% time 4089 pv e4 e6 d4 d5 e5 c5 c3 h6 Nf3 Nc6 Be2 Nge7 O-O Ng6 Be3
info depth 21 nodes 7438 nps 1109 score cp 3 winrate 50.83% time 6704 pv e4 e6 d4 d5 e5 c5 c3 h6 Nf3 Nc6 Be2 Nge7 O-O Ng6 Be3
info depth 22 nodes 13181 nps 1148 score cp 3 winrate 50.98% time 11478 pv e4 e6 d4 d5 e5 c5 c3 h6 Nf3 Nc6 Be2 Nge7 O-O Ng6 Be3 cxd4
info depth 23 nodes 23312 nps 1227 score cp 3 winrate 51.09% time 18992 pv e4 e6 c4 c5 Nf3 Nc6 Nc3 Nf6 Be2 d5 exd5 exd5 cxd5 Nxd5 d4 cxd4 Nxd4 Nxc3 bxc3 Be7 O-O
info depth 24 nodes 41316 nps 1328 score cp 4 winrate 51.10% time 31108 pv e4 e6 c4 c5 Nf3 Nc6 Nc3 Nf6 Be2 d5 exd5 exd5 cxd5 Nxd5 d4 cxd4 Nxd4 Nxc3 bxc3 Be7 O-O O-O Be3
info depth 25 nodes 73313 nps 1472 score cp 4 winrate 51.15% time 49817 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O Ng6 Be3 cxd4 cxd4 Be7 Nc3
info depth 26 nodes 130353 nps 1494 score cp 4 winrate 51.23% time 87260 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 Bd7 Be2 Nge7 O-O Ng6 Be3 cxd4 cxd4 Be7 Nc3 O-O

Почти 1500 nps на 26-й глубине

[Rom77]

sovaz1997, потому что нейросеть маленькая, да и шахматная доска это по сути картинка разрешением всего 8х8. Я на своём i760 4х2,13 Ггц получаю скорость 550 n/s на -t 4. (запускаю из консоли на -p 800 и набираю пару раз команду go)

Можно ещё вас попросить проверить скорость последней сетки 10х128?
https://drive.google.com/drive/folde...0FMOeuNg43npln
на CPU и GPU c -t 1, -t 2, -t 7 , а то у меня видеокарта совсем уж плоха.

Кстати, бенчмарки GPU на сетке 6х64 можно посмотреть здесь:
https://github.com/glinscott/leela-chess/issues/203

[sovaz1997]

Rom77, около 200 на -t 7 и 50 на -t 1 (на процессоре). И 270 nps на GPU)

[Rom77]

Интересно...
Видеокарта "съела" среднеразмерную нейросетку и даже не поперхнулась. А вот проц по скорости просел в 4 раза. Интересно, как бы повели себя современные CPU с поддержкой AVX2 ?

[sovaz1997]

Всё-таки, немного медленнее, чем маленькая (на GPU). Но на процессоре разница огромная. Думаю, чем больше размер сети, тем лучше она будет работать на видеокарте в сравнении с процессом.

[SergeyMZ]

Цитата: Сообщение от Rom77

Интересно...
Видеокарта "съела" среднеразмерную нейросетку и даже не поперхнулась. А вот проц по скорости просел в 4 раза. Интересно, как бы повели себя современные CPU с поддержкой AVX2 ?

У меня процессор поддерживает AVX2. Что надо скачать и как запустить?

[Rom77]

Цитата: Сообщение от SergeyMZ

У меня процессор поддерживает AVX2. Что надо скачать и как запустить?

1) Скачать gpu и cpu здесь:
https://github.com/glinscott/leela-c...eases/tag/v0.5
Распаковать в отдельные папки.

2) Скачать нейросетку ID 107 (размер 6х64):
http://162.217.248.187/networks
и последнюю сетку 128x10-238:
https://drive.google.com/drive/folde...0FMOeuNg43npln
Распаковать каждую нейросеть в папки c gpu и cpu

3) Запустить lczero.exe через файлы .bat c параметрами (позже напишу какие)

4) Дождаться инициализации в консоли, набрать go, посмотреть nps

[Rom77]

В прилагаемом архиве файлы .bat

Те которые оканчиваются на cpu надо положить в папку с cpu.
Два других положить как в папку cpu, так и gpu.

Запустить эти файлы, подождать десяток секунд до окончания инициализации Лилы, набрать go, дождаться завершения теста и посмотреть скорость (nps)

[Maratka]

Как эту хрень запустить в оболочке Fritz?

[Rom77]

SergeyMZ, Итого получите 6 скоростей: мелкой и средней сети, на cpu и gpu, на одном и четырех тредах.

[Rom77]

Цитата: Сообщение от Maratka

Как эту хрень запустить в оболочке Fritz?

Сам бы хотел узнать. Во Фрице просто нет командной строки.

[Aster]

Цитата: Сообщение от sovaz1997

Aster, вероятно, код оптимизирован именно под новые GPU.

Да нет, я читал, там "чистый" openCL. Надо было не выпендриваться и использовать cuDNN для нейросетей, но видимо разработчики решили сделать использование ГПУ более доступным.

[SergeyMZ]

Цитата: Сообщение от Rom77

SergeyMZ, Итого получите 6 скоростей: мелкой и средней сети, на cpu и gpu, на одном и четырех тредах.

А ничего, что у меня 6 физических ядер?

[Rom77]

Цитата: Сообщение от SergeyMZ

А ничего, что у меня 6 физических ядер?

Да хватит и четырёх, чтобы составить общее впечатление. Но если хотите, можете потом просто прописать в .bat нужное число тредов

[Rom77]

Цитата: Сообщение от Aster

Да нет, я читал, там "чистый" openCL. Надо было не выпендриваться и использовать cuDNN для нейросетей, но видимо разработчики решили сделать использование ГПУ более доступным.

Были ещё какие-то заморочки с лицензией GPL и возможностью запуска на видеокартах AMD.

[SergeyMZ]

Всё установил. Провёл тесты. Вот результат:

Цитата:

CPU
1 ядро info depth 16 nodes 513 nps 494 score cp 3 winrate 50.87% time 1036 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O bestmove e2e4
1 ядро большая info depth 16 nodes 622 nps 139 score cp 9 winrate 52.52% time 4461 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4
4 ядра info depth 16 nodes 549 nps 1505 score cp 2 winrate 50.77% time 363 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O Ng6 bestmove e2e4
4 ядра большая info depth 16 nodes 634 nps 502 score cp 9 winrate 52.62% time 1260 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4
GPU
Малая info depth 16 nodes 513 nps 1133 score cp 3 winrate 50.87% time 451 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O bestmove e2e4
Большая info depth 16 nodes 622 nps 820 score cp 9 winrate 52.52% time 756 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4

Это хорошо или плохо?

[Aster]

Цитата: Сообщение от Rom77

Были ещё какие-то заморочки с лицензией GPL и возможностью запуска на видеокартах AMD.

GPL может включать код проприетарных систем.
А так - сети сейчас вообще (на практике) не тренируются на картах AMD.

Это в любом случае решение организаторов.

[Maratka]

Цитата: Сообщение от Aster

Надо было не выпендриваться и использовать cuDNN для нейросетей

Насколько я понимаю - это привилегия плат nVidia?
Если да - то и правильно, что реализация сделана через OpenCL: Open - на то и "open", чтобы быть доступным всем. Технически, его даже встройка Intel должна поддерживать (ну конечно же последних поколений, а не древности времен Sandy Bridge). Вопрос выхлопа от этой поддержки - это уже отдельный вопрос (если видео уж очень медленное, то его задействование может дать даже отрицательный эффект).

______
API в любом случае разовьется до нужного уровня, а математически - Radeon'ы за те же деньги быстрее, чем функциональные аналоги nVidia. Потому OpenCL.

[Rom77]

Цитата: Сообщение от SergeyMZ

Всё установил. Провёл тесты. Вот результат:

Цитата:

CPU
1 ядро info depth 16 nodes 513 nps 494 score cp 3 winrate 50.87% time 1036 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O bestmove e2e4
1 ядро большая info depth 16 nodes 622 nps 139 score cp 9 winrate 52.52% time 4461 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4

Это хорошо или плохо?

Скорость просела в 3,5 раза. Выходит не так и помогают процессору инструкции AVX2... Может быть нужна программная адаптация?...

А какой у вас процессор и видеокарта, не подскажете?

[Maratka]

Цитата: Сообщение от Rom77

Выходит не так и помогают процессору инструкции AVX2... Может быть нужна программная адаптация?...

Сама по себе компиляция с поддержкой AVX (2), SSE (1,2,3,4+) ничего не дает, и дать не может, если в исходнике нет подходящих конструкций для компилятора.

[SergeyMZ]

Цитата: Сообщение от Rom77

Скорость просела в 3,5 раза. Выходит не так и помогают процессору инструкции AVX2... Может быть нужна программная адаптация?...

А какой у вас процессор и видеокарта, не подскажете?

Процессор Intel Core i7 6-cores 8700k 4.5 Ггц
Видеокарта NVIDIA Geforce 960 GTX

[Rom77]

Цитата: Сообщение от SergeyMZ

CPU
4 ядра info depth 16 nodes 549 nps 1505 score cp 2 winrate 50.77% time 363 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O Ng6 bestmove e2e4
4 ядра большая info depth 16 nodes 634 nps 502 score cp 9 winrate 52.62% time 1260 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4
GPU
Малая info depth 16 nodes 513 nps 1133 score cp 3 winrate 50.87% time 451 pv e4 e6 d4 d5 e5 c5 c3 Nc6 Nf3 h6 Be2 Nge7 O-O bestmove e2e4
Большая info depth 16 nodes 622 nps 820 score cp 9 winrate 52.52% time 756 pv e4 e6 d4 d5 e5 c5 c3 cxd4 cxd4 Qa5+ Nc3 Nc6 Nf3 bestmove e2e4

Даже на 4-х тредах процессор делает очень приличную видеокарту. Но это малая нейросеть. А на среднеразмерной уже всё наоборот. Но разница, в принципе, не так уж и велика. Можно подумать об участии Лилы в чемпионате TCEC на CPU... Правда, там сеть скорее всего будет уже 20х256. Потом сравним скорость.

Сергей, спасибо большое за помощь!

[Maratka]

Цитата: Сообщение от SergeyMZ

Процессор Intel Core i7 6-cores 8700k 4.5 Ггц
Видеокарта NVIDIA Geforce 960 GTX

Вообще говоря, это весьма приличный дисбаланс, грубая вычислительная мощность процессора сравнима с вычислительной мощностью видеоплаты. Т.е. малейший косяк в оптимизации под именно видео - и процессор вполне может оказаться быстрее.

Кстати, замерьте использование видеопамяти (GPU-Z), если у Вас плата с 2-мя мегабайтами - вполне возможно, что "затор" вызван именно этим.

[Aster]

Цитата: Сообщение от Maratka

Насколько я понимаю - это привилегия плат nVidia?
Если да - то и правильно, что реализация сделана через OpenCL: Open - на то и "open", чтобы быть доступным всем. Технически, его даже встройка Intel должна поддерживать (ну конечно же последних поколений, а не древности времен Sandy Bridge). Вопрос выхлопа от этой поддержки - это уже отдельный вопрос (если видео уж очень медленное, то его задействование может дать даже отрицательный эффект).

______
API в любом случае разовьется до нужного уровня, а математически - Radeon'ы за те же деньги быстрее, чем функциональные аналоги nVidia. Потому OpenCL.

Что значит "API разовьётся до нужного уровня"? LeelaChess найдёт программиста GPGPU которые на рынке получают от 250 тыс. долларов в год чтобы оптимизировать ядра под OpenCL?
Радеоны пока даже в исследовательском коде не дошли до производительности нвидии, и глупо не использовать приемущество, когда почти у всех юзеров карты nvidia.

[Maratka]

Цитата: Сообщение от Aster

Что значит "API разовьётся до нужного уровня"?

Значит, что сможет использовать все возможности видеопроцессоров как минимум AMD и nVidia.
Представьте себе, что OpenCL - это не кубик Рубика, а вполне документированый интерфейс, подкрепленный своим компилятором. И так само, как нельзя использовать AVX в компиляторе C++ 2010 года, так само не получится использовать "по полной" математику современных плат nVidia и AMD на "старом" OpenCL 1.2
А ведь уже есть OpenCL версии 2.1....

А между тем движок написан под OpenCL 1.2, для совместимости со "старьем".

Цитата: Сообщение от Aster

и глупо не использовать приемущество, когда почти у всех юзеров карты nvidia.

Вы забываете про APU. ;)
А там выбор как раз другой: либо AMD, либо Intel, и графика в APU составляют львиную долю продаж видео "вообще". Внешние платы контролируют хорошо если 30% рынка, а значиит nViidia контролирует хорошо если 20%. Еще 20% - AMD, за счет как встройки, так и "внешних" решений. Остальное (т.е. 60%!!) доля Intel.

[svoitsl]

Число игр неумолимо приближается к 4 млн (возможно уже завтра достигнет), а вот сила игры что то уже мало ростёт (по крайней мере для сети 6х64).