Матч движков Stockfish&Friends

[SergeyMZ]

Решил провести матч среди разных Стокфишей и его дериватов. Пока включил в тест следующие движки:

Stockfish 8
AsmFish 2017_11_18
CorChess 1.8 171217
CFish 161217
CiChess 1.8 161217
SF 171217
S_XPrO 251117
Symphysodon 290917
BrainFish 171217
Raubfisch ME262_GTZ16a

Intel Core i7 4930k 6-ядер
ChessGUI Houdini 5 Pro (Fritz 15)
2048mb hash
3-4-5 piece tablebases
Ponder off
Perfect-2017.ctg book
2 hours + 30 second increments


/Вопросы по тесту к форумчанам:
1. Какой временной контроль выбрать?
2. Сколько партий надо сыграть?
3. Кого еще можно добавить?/

[Maratka]

Контроль от часа, количество партий от тысячи (минутный контроль в LB "на ночь" мы и сами запускать умеем).
Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.
Ядра/потоки - все сколько есть минус один.

Вопросы:
1) Что такое Stockfish 171217, и чем он отличается от SF 171217?
2) Какая компиляция Stockfish будет использоваться (на Abrok лежит практически самая медленная из всех возможных).
3) Зачем нужен SF8? Это явное "мясо" для набора очков остальными версиями, т.е. никакого практического смыла в нем нет.
4) Что за книга, и до какого хода? Или без книги?

[otodranik]

Цитата: Сообщение от SergeyMZ

Решил провести матч среди разных Стокфишей и его дериватов. Пока включил в тест следующие движки:

Stockfish 8
Stockfish 171217
AsmFish 2017_11_18
CorChess 1.8 171217
CFish 161217
CiChess 1.8 161217
SF 171217
S_XPrO 251117
Symphysodon 290917
BrainFish 171217
Raubfisch ME262_GTZ16a

Вопросы по тесту к форумчанам:
1. Какой временной контроль выбрать?
2. Сколько партий надо сыграть?
3. Кого еще можно добавить?

Если выявить сильнейшего, то тысяч сто партий. Если для развлечения, то любые условия. Теоретически самый сильный здесь - АСМфиш, самый слабый - Стокфиш 8.

[Maratka]

Цитата: Сообщение от otodranik

Теоретически самый сильный здесь - АСМфиш

Теоретически все может быть. Практически же он проигрывает благодаря патчам на 3-5-7 Elo последней версии SF, при условии уравнивания их скоростей.
Что же лучше - дополнительные мозги на несколько Elo или дополнительная скорость зависит от много чего.

[SergeyMZ]

Цитата: Сообщение от Maratka

Контроль от часа, количество партий от тысячи (минутный контроль в LB "на ночь" мы и сами запускать умеем).
Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.
Ядра/потоки - все сколько есть минус один.

Вопросы:
1) Что такое Stockfish 171217, и чем он отличается от SF 171217?
2) Какая компиляция Stockfish будет использоваться (на Abrok лежит практически самая медленная из всех возможных).
3) Зачем нужен SF8? Это явное "мясо" для набора очков остальными версиями, т.е. никакого практического смыла в нем нет.
4) Что за книга, и до какого хода? Или без книги?

1000+ партий с контролем 1 час на партию каждому это несерьезно говорите. так как и жизни на это не хватит
1-2) Stockfish 171217 - последняя сборка с Аброка.
SF 171217 - сборка Otodranika.
3.) Хорошо, исключу восьмерку.
4.) Книга будет конечно. Perfect подойдет? 8 ходов максимум по книге.

[Maratka]

Цитата: Сообщение от SergeyMZ

1000+ партий с контролем 1 час на партию каждому это несерьезно говорите. так как и жизни на это не хватит

С чего бы? У меня лично в матче который сейчас проверяет что лучше: 5-10 Elo или 5-10% скорости пробежало 136 партий за три недели (на текущий момент) при контроле 150 + 30 сек/ход, т.е. где-то ~180 партий в месяц.
С часовым контролем Вы легко "пробежите" 1000 партий за пару месяцев.

Цитата: Сообщение от SergeyMZ

1-2) Stockfish 171217 - последняя сборка с Аброка.
SF 171217 - сборка Otodranika.

Одна из них явно лишняя. Учитывая, что остальные сборки собраны с прицелом на скорость, лишней является сборка с Аброка.

Цитата: Сообщение от SergeyMZ

4.) Книга будет конечно. Perfect подойдет? 8 ходов максимум по книге.

Да в общем-то без особой разницы, какая, главная одна на всех, в случае 1000+ партий. Если партия будет мало, то потребуется играть не просто по книге, а по поставленным позициям, чтобы каждый с каждым смог сиграть один и тот же дебют обоими цветами.
8 ходов - вполне нормально.

[Ofiscer]

Цитата: Сообщение от Maratka

С часовым контролем Вы легко "пробежите" 1000 партий за пару месяцев.

За это время выйдет SF 9 и матч станет не актуальным.

[SergeyMZ]

Цитата: Сообщение от Ofiscer

За это время выйдет SF 9 и матч станет не актуальным.

Вот именно! Я хотел проверить примерную силу указанных в шапке движков. А часовые партии, да еще месяцами чтобы гонять, здесь нужен отдельный компьютер для этого.

[Maratka]

Цитата: Сообщение от Ofiscer

За это время выйдет SF 9 и матч станет не актуальным.

За это время много чего выйдет, ровно также, как на любом длительном турнире. Например TCEC: начинала играть одна версия SF (как и Komodo, как и Houdini), а закончила другая.

Следовательно, турнир не актуален?

[Maratka]

Цитата: Сообщение от SergeyMZ

Вот именно! Я хотел проверить примерную силу указанных в шапке движков.

Тогда и проверять особо нечего: и без теста известно, что на блиц-контроле выиграет ASM-версия, а самой худшей будет сборка с Аброка.

Цитата: Сообщение от SergeyMZ

А часовые партии, да еще месяцами чтобы гонять, здесь нужен отдельный компьютер для этого.

Ну так купите!
У меня например три или четыре ноутбука помимо основной машины, и все тесты что мне надо я гоняю на них.

[Ofiscer]

Цитата: Сообщение от Maratka

За это время много чего выйдет, ровно также, как на любом длительном турнире. Например TCEC: начинала играть одна версия SF (как и Komodo, как и Houdini), а закончила другая.
Следовательно, турнир не актуален?

Если у Сергея, в отличие от ТСЕС, обновление версий движков не предусмотрено, то длительный турнир на 1000 партий - да, не актуален.

[Maratka]

Я не знаю, что у Сергея предусмотрено.
Я знаю, что предусмотрено у меня:

Цитата: Сообщение от Maratka

Т.к. тест долгий - по ходу теста движки обновлять скажем раз в месяц, подкладывая новые весрии с теми же именами файлов. Перед запуском продолжения турнира публиковать промежуточные результаты.

[SergeyMZ]

Цитата: Сообщение от Maratka

Ну так купите!
У меня например три или четыре ноутбука помимо основной машины, и все тесты что мне надо я гоняю на них.

хм..интересно, вы наверное зарабатываете больше 100 тысяч рублей в месяц..? Не каждый может так устроиться в жизни. У меня друг получает 70+еще подработка тыщ 10-20 и он давно не может себе купить помимо основного компа ноутбук. Нормальный ноут стоит, начиная от 70 тыщ и выше.

[SergeyMZ]

Ладно, проведу тогда нокаут-турнир, до победы в микроматче из 2 партий, но на длинном контроле:

Intel Core i7 4930k 6-ядер
ChessGUI Houdini 5 Pro (Fritz 15)
2048mb hash
3-4-5 piece tablebases
Ponder off
Perfect-2017.ctg book
2 hours + 30 second increments

На коротких контролях действительно не вижу смысла гонять.

[Maratka]

Цитата: Сообщение от SergeyMZ

хм..интересно, вы наверное зарабатываете больше 100 тысяч рублей в месяц..?

Не поверите, но я - безработный на текущий момент времени :D

Цитата: Сообщение от SergeyMZ

У меня друг получает 70+еще подработка тыщ 10-20 и он давно не может себе купить помимо основного компа ноутбук.

А у меня друг купил ПК в кредит и подарил крестной дочке. Ибо он зарабатывает не 70 плюс 10 - 20, а ВСЕГО 20, и ПК за 60 тыс. рублей для него просто так недоступен.

Цитата: Сообщение от SergeyMZ

Нормальный ноут стоит, начиная от 70 тыщ и выше.

Я понятия не имею ни что такое "нормальный" ноут, ни зачем его покупать за 70 тыс, а тем более - выше.
В моем случае работают старые машины купленные в 2007-2011-х годах. Для шахмат их хватает.
Примерно ту же производительность, а то и поболее обеспечивают современные четырехядерные Pentium'ы, основанные на перелицованных Atom'ах

Впрочем, мы отошли от темы.
По теме: Вы предложили - спасибо
Вы спросили чего и сколько - Вам ответили.
Вы ответили, что так не можете - ну не можете, так и не нужно, даренному коню в зубы не смотрят. Но с другой стороны думаю Вы и сами понимаете, что запустить блиц на ночь может любой желающий, и польза от вашего теста с коротким контролем и/или небольшим количеством партий... скажем так: "невелика".

[Maratka]

Цитата: Сообщение от SergeyMZ

3-4-5 piece tablebases

Добавьте также и syzygy-таблицы.

[Viktor]

Так тесты лучше проводить на малых контролях: 1-5 минут, можно с добавкой. Главное - это побольше партий, от 100 и более. У себя постоянно одно ядро работает на тесты движков. И не только для определения силы, а просто интереса.

[SergeyMZ]

Маратка, спасибо Вам за советы и помощь. Я хочу тест провести для себя, в первую очередь, так как в адвансе меняю эти компиляции Сткофиша как перчатки. Последнюю компиляцию с аброка исключил.
У меня нет программы для жеребьевки, думаю, никто не будет против, если я в 1 туре сведу 1-ый и последний движки. Играть будут они до победы одного в микроматче из 2 партий. Если будет ничья, то начну новый матч.
Не факт, кстати, что Асм тут победит.
Итак, для разогрева, ставлю матч Stockfish 8 против Raubfisch ME262_GTZ16a
Партии буду выкладывать в эту тему.

[Maratka]

Цитата: Сообщение от SergeyMZ

Не факт, кстати, что Асм тут победит.

На двух часах - да, не факт. Ибо "мозгов" у него на ~10 ELo меньше, а глубина, которую он может достичь при времени на ход в две минуты (в среднем, исходя из 2 часа/партия) практически ничем не отличается от глубины, которую может набрать любой другой движок (прогрессия увеличения количества вариантов при росте глубины убивает на корню разницу в жалкие десятки процентов производительности).

И еще:

Цитата: Сообщение от SergeyMZ

2048mb hash

При двух часах маловато будет, в особенности на Ваших шести ядрах.
Хотя бы 16 Гб, лучше - больше.

[Maratka]

Цитата: Сообщение от Still

а толку?

А толку навалом: я совершенно не напрягаясь могу гонять не просто длительные матчи, а вообще любые, хоть по неделе на ход, причем несколько штук одновременно, и при этом моя основная машина всегда свободна.

___
Да, бывает что не хватает. Придется наверное все же еще один ноут купить...

[byan_mivv]

Серега! Есть Asmfish поновее - от 23.11.17

http://chess.massimilianogoi.com/download.php#asmfish

[SergeyMZ]

Цитата: Сообщение от Maratka

На двух часах - да, не факт. Ибо "мозгов" у него на ~10 ELo меньше, а глубина, которую он может достичь при времени на ход в две минуты (в среднем, исходя из 2 часа/партия) практически ничем не отличается от глубины, которую может набрать любой другой движок (прогрессия увеличения количества вариантов при росте глубины убивает на корню разницу в жалкие десятки процентов производительности).

И еще:

При двух часах маловато будет, в особенности на Ваших шести ядрах.
Хотя бы 16 Гб, лучше - больше.

Я поставил 2 гига хэша: столько же ,сколько ставит в своих тестах на 8 ядерных ксеонах один иностранец-тестер движков с Chess2U.
У меня 16 гиг оперативы, но система нормально работает при 4 гиг только. Если дать движку 8 гиг, то начинаются тормоза.

[Burcontovk]

Цитата: Сообщение от otodranik

Если выявить сильнейшего, то тысяч сто партий.

Сигмы не канают уже?

[otodranik]

Цитата: Сообщение от Burcontovk

Сигмы не канают уже?

Не шути так! - какие сигмы? Для этого ему нужно несколько месяцев на УКК и несколько лет на серьёзный контроль.
Человек хочет просто получить удовольствие от матча, да выявить победителя.

[Burcontovk]

Цитата: Сообщение от otodranik

Не шути так! - какие сигмы? Для этого ему нужно несколько месяцев на УКК и несколько лет на серьёзный контроль.

С чего ты взял что я шучу?
Каких месяцев, ау?
Разница 60 ело - 100 партий достаточно.
Если укк то 4000 партий и разница 9 ело достаточно.

[Burcontovk]

Изначально человек писал:

Цитата: Сообщение от otodranik

Если выявить сильнейшего, то тысяч сто партий.

Цитата: Сообщение от Still

где ты возьмёшь такую разницу в турнире клонов?

Даже 100 партий не обязательно, можно и меньше.
Клоны клонами, но про эффект книги все как всегда забывают. Поэтому я иногда тестирую вообще без нее.

[Burcontovk]

Sf8 и CorChess на укк против асма будут держать разницу в 3 ело все время?
От 100 партий уйдут они в сигмы и до 4 тыс партий спокойно.

[Burcontovk]

Цитата: Сообщение от Still

Какой нафиг книги?
Или всем ctg. от Седата или никому!

ты ж не думаешь, что Регги прикрутит Брейнфишу .bin от Зиппорта?

Идеальных книг нет. При любой книги, если это не первые 2-3 хода можно выйти в проигранный дебют. Если появится идеальная книга. То можно смело ставить до 100го хода и получать всегда ничейный результат.

[Burcontovk]

Still, Я же выше уже написал что говорил чел и что не обязательно играть сотни тысяч партий, а можно уложиться спокойно и меньшим числом. И даже с норм контролем а особенно если книга будет 2-3 хода. 8 это достаточно много.

[Viktor]

Цитата: Сообщение от Burcontovk

Даже 100 партий не обязательно, можно и меньше.
Клоны клонами, но про эффект книги все как всегда забывают. Поэтому я иногда тестирую вообще без нее.

Меньше - слишком недостоверно. Про книги, думаю, лучше использовать те, где отсчет идет от 6-8 ходов. Если без книг, то вряд ли будет лучший результат теста. Уже про это раньше дискутировали: движки будут повторять некоторые партии с первых ходов, а это однообразие не даст эффект проверки силы движков.