Предложения и вопросы по этому подразделу

[Гудвин]

Вопросы и предложения по тестированию движков. Так же по компиляциям движков с открытым исходным кодом.

[Parkaev_Andrey]

Вот у нас на форуме три активных компиляторщика:

otodranik

Maratka

ChessMan

Никто не задумывался провести мини-турнир их последних сборок SF?
Или это не очень... корректно?

[sergey1963]

Ото всех трах... ну в общем выиграет!!!

[Burcontovk]

sergey1963, Чет я сомневаюсь

[Burcontovk]

Цитата: Сообщение от Parkaev_Andrey

Никто не задумывался провести мини-турнир их последних сборок SF?
Или это не очень... корректно?

Пусть авторы компиляций укажут какие версии использовать и с какими настройками. И тогда...

[Aster]

Всё равно некорректно. Вон, например, у ChessMan'a компиляции подтюнены на AMD, у Ото - на Интеле, у Маратки, кажется, тоже интел. На чём будем тесты проводить?)

[ChessMan]

Цитата: Сообщение от Aster

Всё равно некорректно. Вон, например, у ChessMan'a компиляции подтюнены на AMD, у Ото - на Интеле, у Маратки, кажется, тоже интел. На чём будем тесты проводить?)

У Никиты тоже АМД... Феном 2 х6 1100Т

[ChessMan]

Но всё равно не корректно, во первых моя компиляция Стокфиша сейчас ни чем не лучше чем его (я компилирую без ЛТО как и он), а сравнивать мой СиЧесс против Стока это уж совсем...

[TCH]

Цитата: Сообщение от Aster

Всё равно некорректно. Вон, например, у ChessMan'a компиляции подтюнены на AMD, у Ото - на Интеле, у Маратки, кажется, тоже интел. На чём будем тесты проводить?)

На Эльбрусе

[Viktor]

Цитата: Сообщение от Parkaev_Andrey

Вот у нас на форуме три активных компиляторщика:

otodranik

Maratka

ChessMan

Никто не задумывался провести мини-турнир их последних сборок SF?
Или это не очень... корректно?

Таких тестов проводил несколько, включая движки в общие турниры.
Результаты были разные. Сначала впереди были версии ChessMan, а в последнем турнире впереди версия otodranik.
Но они уступали версиям AsmFish. А движки ChessMan, к сожалению, периодически "вылетают", поэтому их перестал включать.

[Maratka]

Цитата: Сообщение от Aster

Маратки, кажется, тоже интел

У мну VS 2015, т.е. относительно честный компилятор, без заточек под архитектуру.

Отдельный вопрос правда какой тип сборки использовать: x64/POPCNT/Bmi2
Скажем я у себя не могу собрать полноценную BMI-сборку, в том смысле, что она будет медленнее, чем POPCNT. И otodranik скорее всего не сможет.

Цитата: Сообщение от Burcontovk

Пусть авторы компиляций укажут какие версии использовать и с какими настройками

У меня все по умолчанию, кроме количества потоков - их устанавливать согласно железу (оптимально для всех FISH'ей IMHO количество потоков, которые может выполнить процессор минус один).

Цитата: Сообщение от Burcontovk

sergey1963, Чет я сомневаюсь

Выиграет быстрейшая.
+/- пять патчей ничто в сравнении с 15% скорости.

[Viktor]

Цитата: Сообщение от Maratka

Выиграет быстрейшая.
+/- пять патчей ничто в сравнении с 15% скорости.

Не буду говорить про патчи. Это вопрос спецов. А вот про скорость не согласен. Большинство тестов (а их у меня больше сотни) не подтверждают ваши слова о преимуществе. Оно не решающее. И побеждают в турнирах версии не с самой большой скоростью - и это факт! Как это объяснить я не берусь, так как по словам Кевина я в этом деле "не понимаю ровным счётом ничего".

[ChessMan]

Цитата: Сообщение от Maratka

У мну VS 2015, т.е. относительно честный компилятор, без заточек под архитектуру.

Отдельный вопрос правда какой тип сборки использовать: x64/POPCNT/Bmi2
Скажем я у себя не могу собрать полноценную BMI-сборку, в том смысле, что она будет медленнее, чем POPCNT. И otodranik скорее всего не сможет.



У меня все по умолчанию, кроме количества потоков - их устанавливать согласно железу (оптимально для всех FISH'ей IMHO количество потоков, которые может выполнить процессор минус один).



Выиграет быстрейшая.
+/- пять патчей ничто в сравнении с 15% скорости.

На счет скорости не совсем верное утверждение. Не уверен на счет Стокфиша, так как я его давно не компилировал, но если говорить о СиФише то скорость не главное. Недавно добавили патч, который замедлил СиФиш процентов на 3-5 по сравнению с прошлой версией, но сделал его чуточку сильнее.

[ChessMan]

Цитата: Сообщение от Viktor

Не буду говорить про патчи. Это вопрос спецов. А вот про скорость не согласен. Большинство тестов (а их у меня больше сотни) не подтверждают ваши слова о преимуществе. Оно не решающее. И побеждают в турнирах версии не с самой большой скоростью - и это факт! Как это объяснить я не берусь, так как по словам Кевина я в этом деле "не понимаю ровным счётом ничего".

Так могут говорить только люди, которые сами не пробовали это "на вкус", я вот давно говорю что скорость не главное. Да и быстрейший набор глубины тоже, особенно в разных движках.

[Maratka]

Цитата: Сообщение от ChessMan

Так могут говорить только люди, которые сами не пробовали это "на вкус", я вот давно говорю что скорость не главное.

Не главное для разных движков. Тут же движки по сути вообще ничем, кроме этой самой скорости не отличаются. Поэтому у них решать все будет скорость.

Впрочем, зачем спорить, если есть желающие проверить?
Давайте придумывать теперь правила, а-ля
1) Оболочка. Я за Fritz.
2) Контроль. Что-то, чтобы не долго, но и не блиц. Скажем 20 минут +5 секунд/ход
3) Книга. Очевидно что любая, одинаковая для всех, с ограничением на глубину. Я предлагаю 6-8 ходов.
4) Количество потоков. Тут все просто: количество потоков, которые может выполнять процессор минус 1, лучше - минус 2.
5) Количество партий. Минимум сотня на движок, лучше - больше.

[Viktor]

Цитата: Сообщение от Maratka

Не главное для разных движков. Тут же движки по сути вообще ничем, кроме этой самой скорости не отличаются. Поэтому у них решать все будет скорость.

Впрочем, зачем спорить, если есть желающие проверить?
Давайте придумывать теперь правила, а-ля
1) Оболочка. Я за Fritz.
2) Контроль. Что-то, чтобы не долго, но и не блиц. Скажем 20 минут +5 секунд/ход
3) Книга. Очевидно что любая, одинаковая для всех, с ограничением на глубину. Я предлагаю 6-8 ходов.
4) Количество потоков. Тут все просто: количество потоков, которые может выполнять процессор минус 1, лучше - минус 2.
5) Количество партий. Минимум сотня на движок, лучше - больше.

Повторю, что уже не раз проверял. Замерял и скорость часто. И движки идентичные - Стоки и их клоны. Условия такие:
1)Тестирую в Аквариуме
2)Контроль 1'+1"
3)Книга Barakuda или Perfect 2017. 8 ходов
4)На одном ядре
5)Партий от 120 до 200.

[Maratka]

1) Непринципиально, пусть Аквариум
2) Мало, причем очень мало.
3) Непринципиально, пусть она
4) Мало, т.к. не учитывает возможности компилятора по оптимизации работы потоков.
5) Достаточно, в случае приличного контроля, для 1+1 нужно на порядок больше партий. Лучше даже раз в двадцать.

[Viktor]

Пункты 2 и 4 на данный момент менять не буду. Имею большую загруженность турнирными партиями. Поэтому в эксперименте, к сожалению, сейчас участвовать не могу.

[ChessMan]

Если на одном ядре то нужна оболочка типа кутечесс или литлблитцера.

[Burcontovk]

Цитата: Сообщение от ChessMan

Если на одном ядре то нужна оболочка типа кутечесс или литлблитцера.

Я могу провести в литлблитцере турнир с контролем скажем 10000мс на партию +100 мс на ход или 60000мс на партию + 100мс/ход.

[Maratka]

На одном ядре особой пользы нет.
К тому же на ультракоротких контролях заведомо выиграет быстрейший движок.
Впрочем, думаю никто не будет возражать против того, что Вы естественно имеете полное право это сделать, и результаты выложить, так что если есть желание и возможность - IMHO делайте, в конце концов движки чуток, да различаются, т.к. у них есть разница на несколько патчей. Может окажется, что я неправ, и три-пять желтых патчей скомпенсируют 4% отставания в скорости моей сборки от сборки от otodranik.

_________
Проверить мысль выше легко:
Достаточно скомпилировать движок с одного и того же "мастера" без малейшей правки кода всем нам троим.

[otodranik]

Говорить о скорости движков корректно - когда сравниваем одни и те же исходники - в этом случае предпочтение более быстрой версии. А вот сравнивать скорость между компиляциями Стокфиша, но с разными "мозгами"(добавленными патчами) - не совсем корректно. Перед тем как добавить патч его тестируют гораздо лучше нашего - в итоге победит версия с более свежими "мозгами". У АСМфиша настолько велико преимущество в скорости, что она перекрывает следующие патчи на значительном этапе развития в быстрых партиях. В идеале такого вопроса не должно стоять - нужна однга и быстрая компиляция, и новая по "мозгам" одновременно. Не тратьте время на выявление сильнейшего среди равных!

[Maratka]

Цитата: Сообщение от otodranik

Не тратьте время на выявление сильнейшего среди равных!

Ну почему?
Тут есть же еще и второй вопрос: насколько движок умеет решать тестовые задания (естественно не за 10 секунд, а хотя бы минут пять на позицию, что близко к гроссмейстерским 120 минут на 40 ходов).

Т.е. одна версия (вероятно та, что быстрее) будет лучше в игровом плане, в особенности - в блице. А другая - возможно в тактическом, для анализа, за счет патчей. А возможно, таки не будет, т.к. все же разницы мозгов не хватит, чтобы перекрыть разницу в скорости.

______
Ну а тест на 10 секунд/партия для де-факто одного исходника, отличающегося на доли процента, естественно имеет место быть, если партий хотя бы сотня тысяч.
Иначе - погрешность перевесит результат, т.е. результат будет недостоверным.

[sergey1963]

Цитата: Сообщение от otodranik

Говорить о скорости движков корректно - когда сравниваем одни и те же исходники - в этом случае предпочтение более быстрой версии. А вот сравнивать скорость между компиляциями Стокфиша, но с разными "мозгами"(добавленными патчами) - не совсем корректно. Перед тем как добавить патч его тестируют гораздо лучше нашего - в итоге победит версия с более свежими "мозгами". У АСМфиша настолько велико преимущество в скорости, что она перекрывает следующие патчи на значительном этапе развития в быстрых партиях. В идеале такого вопроса не должно стоять - нужна однга и быстрая компиляция, и новая по "мозгам" одновременно. Не тратьте время на выявление сильнейшего среди равных!

-очень тонкое и верное замечание.... не путать мягкое с теплым...
-с другой стороны +60эло стока за год- это 15эло в квартал и достаточно асм вообще компилить раз в квартал...

[Burcontovk]

Цитата: Сообщение от Maratka

Ну почему?
Тут есть же еще и второй вопрос: насколько движок умеет решать тестовые задания (естественно не за 10 секунд, а хотя бы минут пять на позицию, что близко к гроссмейстерским 120 минут на 40 ходов).

Тут как бы некорректное сравнение движка с человеком. 10 секунд именно для тактических тестов, многие из которых даже вы решите за пару секунд, больше чем достаточно, что бы увидеть хватает движок тактику и на сколько быстро он это делает.
Те движки что в топе по тесту, решали позиции в среднем 1.5-2сек на позу.

[sergey1963]

-если нас интересует адванс, а не блиц- время вторично и найдет ли 1 ядро ход за 2 сек или за 20 минут- одинаково, ясно- что тактический движок быстр в тактике, а вот насколько он слаб в позиционных задачах?
-с удивлением узнаю, что многие сильные адвансеры играют на ноутах- а ведь там- 2-4 ядра с частотой 2.5- 3.5Ггц и памяти 4-16ГБ..., т.е. время действительно вторично- главное, чтобы движок нашел трудный ход...

[Burcontovk]

Цитата: Сообщение от sergey1963

-с удивлением узнаю, что многие сильные адвансеры играют на ноутах- а ведь там- 2-4 ядра с частотой 2.5- 3.5Ггц и памяти 4-16ГБ..., т.е. время действительно вторично- главное, чтобы движок нашел трудный ход...

Лично видели, или они вам сказали? что бы двиг нашел сильный ход ему нужно время, время первично особенно для систем со слабым процем.
Если у тебя много партий и мало времени на анализ, то время вдвойне первичней. Но опять таки от части время можно компенсировать более мощным процем.

[sergey1963]

Цитата: Сообщение от Burcontovk

Лично видели, или они вам сказали? что бы двиг нашел сильный ход ему нужно время, время первично особенно для систем со слабым процем.
Если у тебя много партий и мало времени на анализ, то время вдвойне первичней. Но опять таки от части время можно компенсировать более мощным процем.

-есть такое понятие предел- находит ваша конфигурация железа (проц+ОЗУ+SSD) трудные ходы максимум до 50 глубины, то дальше- хоть треснитесь лучше не будет- ну дойдете, угробив тучу времени, до 80 и даже 127- ход останется таким же и смысл затраты времени превращается в пшик... вот здесь-то и интересны тестовые позиции на тактику и на стратегию- каждый сам определяет предел своей конфигурации железа, а время на партию и количество игр- каждый решает сам, неверно- получи жбан...

[Parkaev_Andrey]

Цитата: Сообщение от ChessMan

Маратка, ну я ведь специально создал тему для тестов собственных патчей (и обсуждения)

Модератор может переносить сообщения из темы в тему в пределах раздела, если что.

[ChessMan]

Цитата: Сообщение от Gross_Titan

увижу модератора-передам ему ваше мнение

Хватит флудить!


=============
Я пока не разобрался как переносить сообщения в другую тему.