Матч движков Stockfish&Friends

[SergeyMZ]

Решил провести матч среди разных Стокфишей и его дериватов. Пока включил в тест следующие движки:

Stockfish 8
AsmFish 2017_11_18
CorChess 1.8 171217
CFish 161217
CiChess 1.8 161217
SF 171217
S_XPrO 251117
Symphysodon 290917
BrainFish 171217
Raubfisch ME262_GTZ16a

Intel Core i7 4930k 6-ядер
ChessGUI Houdini 5 Pro (Fritz 15)
2048mb hash
3-4-5 piece tablebases
Ponder off
Perfect-2017.ctg book
2 hours + 30 second increments


/Вопросы по тесту к форумчанам:
1. Какой временной контроль выбрать?
2. Сколько партий надо сыграть?
3. Кого еще можно добавить?/

:good:

[Maratka]

Контроль от часа, количество партий от тысячи (минутный контроль в LB "на ночь" мы и сами запускать умеем).
Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.
Ядра/потоки - все сколько есть минус один.

Вопросы:
1) Что такое Stockfish 171217, и чем он отличается от SF 171217?
2) Какая компиляция Stockfish будет использоваться (на Abrok лежит практически самая медленная из всех возможных).
3) Зачем нужен SF8? Это явное "мясо" для набора очков остальными версиями, т.е. никакого практического смыла в нем нет.
4) Что за книга, и до какого хода? Или без книги?

[otodranik]

Решил провести матч среди разных Стокфишей и его дериватов. Пока включил в тест следующие движки:

Stockfish 8
Stockfish 171217
AsmFish 2017_11_18
CorChess 1.8 171217
CFish 161217
CiChess 1.8 161217
SF 171217
S_XPrO 251117
Symphysodon 290917
BrainFish 171217
Raubfisch ME262_GTZ16a

Вопросы по тесту к форумчанам:
1. Какой временной контроль выбрать?
2. Сколько партий надо сыграть?
3. Кого еще можно добавить?

:good:
Если выявить сильнейшего, то тысяч сто партий. Если для развлечения, то любые условия. Теоретически самый сильный здесь - АСМфиш, самый слабый - Стокфиш 8.

[Maratka]

Теоретически самый сильный здесь - АСМфиш
Теоретически все может быть. Практически же он проигрывает благодаря патчам на 3-5-7 Elo последней версии SF, при условии уравнивания их скоростей.
Что же лучше - дополнительные мозги на несколько Elo или дополнительная скорость зависит от много чего.

[SergeyMZ]

Контроль от часа, количество партий от тысячи (минутный контроль в LB "на ночь" мы и сами запускать умеем).
Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.
Ядра/потоки - все сколько есть минус один.

Вопросы:
1) Что такое Stockfish 171217, и чем он отличается от SF 171217?
2) Какая компиляция Stockfish будет использоваться (на Abrok лежит практически самая медленная из всех возможных).
3) Зачем нужен SF8? Это явное "мясо" для набора очков остальными версиями, т.е. никакого практического смыла в нем нет.
4) Что за книга, и до какого хода? Или без книги?

1000+ партий с контролем 1 час на партию каждому это несерьезно говорите. так как и жизни на это не хватит
1-2) Stockfish 171217 - последняя сборка с Аброка.
SF 171217 - сборка Otodranika.
3.) Хорошо, исключу восьмерку.
4.) Книга будет конечно. Perfect подойдет? 8 ходов максимум по книге.

[Maratka]

1000+ партий с контролем 1 час на партию каждому это несерьезно говорите. так как и жизни на это не хватит

С чего бы? У меня лично в матче который сейчас проверяет что лучше: 5-10 Elo или 5-10% скорости пробежало 136 партий за три недели (на текущий момент) при контроле 150 + 30 сек/ход, т.е. где-то ~180 партий в месяц.
С часовым контролем Вы легко "пробежите" 1000 партий за пару месяцев.


1-2) Stockfish 171217 - последняя сборка с Аброка.
SF 171217 - сборка Otodranika.
Одна из них явно лишняя. Учитывая, что остальные сборки собраны с прицелом на скорость, лишней является сборка с Аброка.


4.) Книга будет конечно. Perfect подойдет? 8 ходов максимум по книге.
Да в общем-то без особой разницы, какая, главная одна на всех, в случае 1000+ партий. Если партия будет мало, то потребуется играть не просто по книге, а по поставленным позициям, чтобы каждый с каждым смог сиграть один и тот же дебют обоими цветами.
8 ходов - вполне нормально.

[Ofiscer]

С часовым контролем Вы легко "пробежите" 1000 партий за пару месяцев.
За это время выйдет SF 9 и матч станет не актуальным.

[SergeyMZ]

За это время выйдет SF 9 и матч станет не актуальным.

Вот именно! Я хотел проверить примерную силу указанных в шапке движков. А часовые партии, да еще месяцами чтобы гонять, здесь нужен отдельный компьютер для этого.

[Maratka]

За это время выйдет SF 9 и матч станет не актуальным.
За это время много чего выйдет, ровно также, как на любом длительном турнире. Например TCEC: начинала играть одна версия SF (как и Komodo, как и Houdini), а закончила другая.

Следовательно, турнир не актуален?

[Maratka]

Вот именно! Я хотел проверить примерную силу указанных в шапке движков.
Тогда и проверять особо нечего: и без теста известно, что на блиц-контроле выиграет ASM-версия, а самой худшей будет сборка с Аброка.

А часовые партии, да еще месяцами чтобы гонять, здесь нужен отдельный компьютер для этого.
Ну так купите!
У меня например три или четыре ноутбука помимо основной машины, и все тесты что мне надо я гоняю на них.

[Ofiscer]

За это время много чего выйдет, ровно также, как на любом длительном турнире. Например TCEC: начинала играть одна версия SF (как и Komodo, как и Houdini), а закончила другая.
Следовательно, турнир не актуален?
Если у Сергея, в отличие от ТСЕС, обновление версий движков не предусмотрено, то длительный турнир на 1000 партий - да, не актуален.

[Maratka]

Я не знаю, что у Сергея предусмотрено.
Я знаю, что предусмотрено у меня:

Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.

[SergeyMZ]

Ну так купите!
У меня например три или четыре ноутбука помимо основной машины, и все тесты что мне надо я гоняю на них.

хм..интересно, вы наверное зарабатываете больше 100 тысяч рублей в месяц..? Не каждый может так устроиться в жизни. У меня друг получает 70+еще подработка тыщ 10-20 и он давно не может себе купить помимо основного компа ноутбук. Нормальный ноут стоит, начиная от 70 тыщ и выше.

[SergeyMZ]

Ладно, проведу тогда нокаут-турнир, до победы в микроматче из 2 партий, но на длинном контроле:

Intel Core i7 4930k 6-ядер
ChessGUI Houdini 5 Pro (Fritz 15)
2048mb hash
3-4-5 piece tablebases
Ponder off
Perfect-2017.ctg book
2 hours + 30 second increments

На коротких контролях действительно не вижу смысла гонять.

[Maratka]

хм..интересно, вы наверное зарабатываете больше 100 тысяч рублей в месяц..?
Не поверите, но я - безработный на текущий момент времени :D

У меня друг получает 70+еще подработка тыщ 10-20 и он давно не может себе купить помимо основного компа ноутбук.
А у меня друг купил ПК в кредит и подарил крестной дочке. Ибо он зарабатывает не 70 плюс 10 - 20, а ВСЕГО 20, и ПК за 60 тыс. рублей для него просто так недоступен.


Нормальный ноут стоит, начиная от 70 тыщ и выше.
Я понятия не имею ни что такое "нормальный" ноут, ни зачем его покупать за 70 тыс, а тем более - выше.
В моем случае работают старые машины купленные в 2007-2011-х годах. Для шахмат их хватает.
Примерно ту же производительность, а то и поболее обеспечивают современные четырехядерные Pentium'ы, основанные на перелицованных Atom'ах

Впрочем, мы отошли от темы.
По теме: Вы предложили - спасибо
Вы спросили чего и сколько - Вам ответили.
Вы ответили, что так не можете - ну не можете, так и не нужно, даренному коню в зубы не смотрят. Но с другой стороны думаю Вы и сами понимаете, что запустить блиц на ночь может любой желающий, и польза от вашего теста с коротким контролем и/или небольшим количеством партий... скажем так: "невелика".

[Maratka]

3-4-5 piece tablebases
Добавьте также и syzygy-таблицы.

[Viktor]

Так тесты лучше проводить на малых контролях: 1-5 минут, можно с добавкой. Главное - это побольше партий, от 100 и более. У себя постоянно одно ядро работает на тесты движков. И не только для определения силы, а просто интереса.

[SergeyMZ]

Маратка, спасибо Вам за советы и помощь. Я хочу тест провести для себя, в первую очередь, так как в адвансе меняю эти компиляции Сткофиша как перчатки. Последнюю компиляцию с аброка исключил.
У меня нет программы для жеребьевки, думаю, никто не будет против, если я в 1 туре сведу 1-ый и последний движки. Играть будут они до победы одного в микроматче из 2 партий. Если будет ничья, то начну новый матч.
Не факт, кстати, что Асм тут победит.
Итак, для разогрева, ставлю матч Stockfish 8 против Raubfisch ME262_GTZ16a
Партии буду выкладывать в эту тему.

[Maratka]

Не факт, кстати, что Асм тут победит.
На двух часах - да, не факт. Ибо "мозгов" у него на ~10 ELo меньше, а глубина, которую он может достичь при времени на ход в две минуты (в среднем, исходя из 2 часа/партия) практически ничем не отличается от глубины, которую может набрать любой другой движок (прогрессия увеличения количества вариантов при росте глубины убивает на корню разницу в жалкие десятки процентов производительности).

И еще:
2048mb hash
При двух часах маловато будет, в особенности на Ваших шести ядрах.
Хотя бы 16 Гб, лучше - больше.

[Maratka]

а толку?
А толку навалом: я совершенно не напрягаясь могу гонять не просто длительные матчи, а вообще любые, хоть по неделе на ход, причем несколько штук одновременно, и при этом моя основная машина всегда свободна.

___
Да, бывает что не хватает. Придется наверное все же еще один ноут купить...

[byan_mivv]

Серега! Есть Asmfish поновее - от 23.11.17

http://chess.massimilianogoi.com/download.php#asmfish

[SergeyMZ]

На двух часах - да, не факт. Ибо "мозгов" у него на ~10 ELo меньше, а глубина, которую он может достичь при времени на ход в две минуты (в среднем, исходя из 2 часа/партия) практически ничем не отличается от глубины, которую может набрать любой другой движок (прогрессия увеличения количества вариантов при росте глубины убивает на корню разницу в жалкие десятки процентов производительности).

И еще:

При двух часах маловато будет, в особенности на Ваших шести ядрах.
Хотя бы 16 Гб, лучше - больше.

Я поставил 2 гига хэша: столько же ,сколько ставит в своих тестах на 8 ядерных ксеонах один иностранец-тестер движков с Chess2U.
У меня 16 гиг оперативы, но система нормально работает при 4 гиг только. Если дать движку 8 гиг, то начинаются тормоза.

[Burcontovk]

Если выявить сильнейшего, то тысяч сто партий.

Сигмы не канают уже?

[otodranik]

Сигмы не канают уже?
Не шути так! - какие сигмы? Для этого ему нужно несколько месяцев на УКК и несколько лет на серьёзный контроль.
Человек хочет просто получить удовольствие от матча, да выявить победителя.

[Burcontovk]

Не шути так! - какие сигмы? Для этого ему нужно несколько месяцев на УКК и несколько лет на серьёзный контроль.


С чего ты взял что я шучу?
Каких месяцев, ау?
Разница 60 ело - 100 партий достаточно.
Если укк то 4000 партий и разница 9 ело достаточно.

[Burcontovk]

Изначально человек писал:

Если выявить сильнейшего, то тысяч сто партий.

где ты возьмёшь такую разницу в турнире клонов?
Даже 100 партий не обязательно, можно и меньше.
Клоны клонами, но про эффект книги все как всегда забывают. Поэтому я иногда тестирую вообще без нее.

[Burcontovk]

Sf8 и CorChess на укк против асма будут держать разницу в 3 ело все время?
От 100 партий уйдут они в сигмы и до 4 тыс партий спокойно.

[Burcontovk]

Какой нафиг книги?
Или всем ctg. от Седата или никому!

ты ж не думаешь, что Регги прикрутит Брейнфишу .bin от Зиппорта?

Идеальных книг нет. При любой книги, если это не первые 2-3 хода можно выйти в проигранный дебют. Если появится идеальная книга. То можно смело ставить до 100го хода и получать всегда ничейный результат.

[Burcontovk]

Still, Я же выше уже написал что говорил чел и что не обязательно играть сотни тысяч партий, а можно уложиться спокойно и меньшим числом. И даже с норм контролем а особенно если книга будет 2-3 хода. 8 это достаточно много.

[Viktor]

Даже 100 партий не обязательно, можно и меньше.
Клоны клонами, но про эффект книги все как всегда забывают. Поэтому я иногда тестирую вообще без нее.
Меньше - слишком недостоверно. Про книги, думаю, лучше использовать те, где отсчет идет от 6-8 ходов. Если без книг, то вряд ли будет лучший результат теста. Уже про это раньше дискутировали: движки будут повторять некоторые партии с первых ходов, а это однообразие не даст эффект проверки силы движков.

[Viktor]

Still, Я же выше уже написал что говорил чел и что не обязательно играть сотни тысяч партий, а можно уложиться спокойно и меньшим числом. И даже с норм контролем а особенно если книга будет 2-3 хода. 8 это достаточно много.

Раньше на Иммортале вы писали:
"Тут время не главный фактор, главное кол-во партий.
И самое важное -равные условия!!! Если движок плохо играет на укк относительно другого движка, то и увеличение контроля времени вам не сильно поможет, т.к. движок слабее".
А теперь отрицаете большое количество партий.

Впрочем, что бы вы не говорили, программисты движков прекрасно знают, что значит доверительный интервал и, разумеется, будут придерживаться общепринятой гипотезе.

[Burcontovk]

Меньше - слишком недостоверно.

Да куда там, если есть сигмы то математически достоверен результат.

А теперь отрицаете большое количество партий.


Я не отрицаю, можно играть партий сколько терпения хватит. Но в доверительном интервале можно останавливать тест и признавать силу игры. Нет конечных пределов 100к 200 -300. есть доверительный интервал. И на него можно справедливо сослаться, тем более если он наступил раньше чем скажем 1000 партий, и нам не нужно ждать 100к партий. Раньше мы тестировали без всяких интервалов.
Доверительный интервал - пример: кол-во партий 7562 корень 86,95. (округляем 87) 600/87=6.89 округляем 7ело, этой минимальной разницы между движками достаточно что бы остановить матч на 7562й партии.

[Burcontovk]

Чел знал, о чём писал :)
Клонам Стока надо туеву хучу партий!
Меньшим числом ты уложишься, если в турнире будет играть Фритц6

Ты хочешь сказать на 4000 партий разброс рейта между корчесс и асмом не будет более 9? Да ну на...

[Maratka]

Маратка, спасибо Вам за советы и помощь. Я хочу тест провести для себя, в первую очередь, так как в адвансе меняю эти компиляции Сткофиша как перчатки. Последнюю компиляцию с аброка исключил.

Если есть желание повозиться - могу дать мою сборку SF.
"Мозгов" у нее несколько больше, чем у последних официальных сборок, а вот как насчет сравнения с CorChess/Raubfisch/S_XPrO и т.д - я не знаю. Вот как раз и проверите. ;)