Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки > Турниры и сборки движков

Ответ
 
Опции темы Опции просмотра
Старый 17.03.2018, 16:42   #61
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Никита, кстати дурацкий, но таки для меня важный вопрос:

Со стороны команды SF не будет обид, если я для пробы на тест пущу "пустышку", вида
Int test=0;
If (test =0)
{
}

Для фиштеста - это впустую потраченные ядра
Для меня - способ проверки, что я правильно освоился в этой, новой для меня среде.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 18.03.2018, 15:03   #62
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Итого, тестовые движки:
https://yadi.sk/d/VFhAQuXB3TVdVi

Мастер - исходник с бенчем 5741807
Тестовый движок - тот же мастер с моим патчем (подчеркиваю - патч далеко полный, в нем улучшена работа лишь в нескольких дисбалансах в сочетаниях фигур).
По мере добавления набора с дисбалансом материала разница с мастером должна увеличиваться.

Просьба протестировать на максимально возможном количестве партий в LB (или аналоге) на книге 2_movies
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 18.03.2018, 15:08   #63
otodranik
Гроссмейстер
 
Аватар для otodranik
 
Регистрация: 25.01.2017
Сообщений: 1,619
Сказал(а) спасибо: 834
Поблагодарили 2,761 раз(а) в 1,225 сообщениях
Репутация: 106
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от Maratka
Никита, кстати дурацкий, но таки для меня важный вопрос:

Со стороны команды SF не будет обид, если я для пробы на тест пущу "пустышку", вида
Int test=0;
If (test =0)
{
}

Для фиштеста - это впустую потраченные ядра
Для меня - способ проверки, что я правильно освоился в этой, новой для меня среде.
Нет, явно не одобрят такое. Скажи тогда свои изменения другому автору.
__________________
AMD Phenom II X6 1100T@3.3GHz
otodranik вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 18.03.2018, 16:05   #64
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от otodranik
Нет, явно не одобрят такое. Скажи тогда свои изменения другому автору.
Ну я вообще не претендую на полноразмерный тест. ;)
Вполне хватит десятка, но может тысячу партий: просо убедиться, что задача поставлена правильно.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 18.03.2018, 16:34   #65
otodranik
Гроссмейстер
 
Аватар для otodranik
 
Регистрация: 25.01.2017
Сообщений: 1,619
Сказал(а) спасибо: 834
Поблагодарили 2,761 раз(а) в 1,225 сообщениях
Репутация: 106
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от Maratka
Ну я вообще не претендую на полноразмерный тест. ;)
Вполне хватит десятка, но может тысячу партий: просо убедиться, что задача поставлена правильно.
Так для этого выявления и нужен полномасштабный тест. Ведь при уровне Стокфиша, заявленные тобой улучшения, уже присутсвуют в коде. Не будь он ТОПовым мотором!
__________________
AMD Phenom II X6 1100T@3.3GHz
otodranik вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 18.03.2018, 17:03   #66
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от otodranik
Так для этого выявления и нужен полномасштабный тест. Ведь при уровне Стокфиша, заявленные тобой улучшения, уже присутсвуют в коде. Не будь он ТОПовым мотором!
Еще раз, возможно я в первую свою попытку сформилировал вопрос непонятно:

Нужно 10-100-1000 партий, для того, чтобы я мог убедиться, что играет именно мой код против мастера.

Соответственно, если я все правило сделал, то матч запустится, практически сразу (т.к. мало партий) завершится, но в деталях матча я увижу мой код, если все было сделано правильно. Иначе -не увижу.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 22.03.2018, 14:50   #67
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Привет!

Нужно запустить тест по некому справочнику движками "A" и "B"
Условие: движок ну пусть будет "А" все свои партии должен играть белыми.
Партий больше, чем позиций в справочнике, соответственно, после первого прохода, когда начнется второй, третий, и т.д. стороны по прежнему должны сохраняться.

Вопрос:
в какой оболочке и как это можно запустить?
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alexandr_L (22.03.2018)
Старый 22.03.2018, 15:19   #68
otodranik
Гроссмейстер
 
Аватар для otodranik
 
Регистрация: 25.01.2017
Сообщений: 1,619
Сказал(а) спасибо: 834
Поблагодарили 2,761 раз(а) в 1,225 сообщениях
Репутация: 106
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от Maratka
Привет!

Нужно запустить тест по некому справочнику движками "A" и "B"
Условие: движок ну пусть будет "А" все свои партии должен играть белыми.
Партий больше, чем позиций в справочнике, соответственно, после первого прохода, когда начнется второй, третий, и т.д. стороны по прежнему должны сохраняться.

Вопрос:
в какой оболочке и как это можно запустить?
В cute-chess cli эти условия можно прописать
__________________
AMD Phenom II X6 1100T@3.3GHz
otodranik вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (22.03.2018)
Старый 22.03.2018, 16:05   #69
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от otodranik
В cute-chess cli эти условия можно прописать
А там можно запустить одновременно несколько партий (по аналогии с LB)?
Maratka вне форума   Ответить с цитированием
Старый 22.03.2018, 16:12   #70
Aster
2 разряд
 
Аватар для Aster
 
Регистрация: 21.11.2016
Сообщений: 472
Сказал(а) спасибо: 339
Поблагодарили 1,110 раз(а) в 412 сообщениях
Репутация: 110
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от Maratka
А там можно запустить одновременно несколько партий (по аналогии с LB)?
Да
Aster вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (22.03.2018)
Старый 22.03.2018, 16:46   #71
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, там ещё можно делать тестирование по аналогии с SPRT [-2.94; 2.94]
sovaz1997 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (22.03.2018)
Старый 01.04.2018, 20:07   #72
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Кто может проверить патч (нужно 5-10 тыс. партий), т.е. тест на ночь на 8-12 ядерном ПК при контроле 10 сек. + 0,1 сек/ход?
Maratka вне форума   Ответить с цитированием
Старый 01.04.2018, 20:20   #73
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, а если 4 ядра и 8 потоков? Я могу SPRT-тест запустить
sovaz1997 вне форума   Ответить с цитированием
Старый 01.04.2018, 20:33   #74
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Думаю вполне пойдет. Нет такого "4 ядра, 8 потоков". Есть "8 виртуальных ядер", на которые расщепляются 4 реальных благодаря HT-технологии.

Куда выложить сборки?
Maratka вне форума   Ответить с цитированием
Старый 01.04.2018, 20:43   #75
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, лучше тогда код/изменения, я на Linux буду проверять
sovaz1997 вне форума   Ответить с цитированием
Старый 01.04.2018, 20:44   #76
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от sovaz1997
Maratka, лучше тогда код/изменения, я на Linux буду проверять
Тогда не пойдет. (
Не хочу светить свой полуфабрикат раньше времени.
Maratka вне форума   Ответить с цитированием
Старый 01.04.2018, 20:46   #77
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, хорошо, давайте тогда бинарники под Windows или Linux. Только оба (обычный SF и с изменениями).
sovaz1997 вне форума   Ответить с цитированием
Старый 01.04.2018, 20:51   #78
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

https://yadi.sk/d/sHsciH4p3TyCtA
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
sovaz1997 (01.04.2018)
Старый 01.04.2018, 21:23   #79
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Запустил:
sprt [0..4]
Hash=16
Book=2moves_v1
Ваша сборка - Test41, оригинал - POPCNT (как я понял)
Не уверен, что 10 000 партий хватит, поэтому ограничил 100 000, но SPRT-тест может закончится раньше (либо удачно, либо неудачно).
7 партий параллельно
sovaz1997 вне форума   Ответить с цитированием
Старый 01.04.2018, 21:34   #80
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Спасибо!


Цитата: Сообщение от sovaz1997
Не уверен, что 10 000 партий хватит, поэтому ограничил 100 000,
Если у меня не сбоит по каким-то причинам LittleBlitzer, то ~10 000 партий будет вполне достаточно.

__________
Кстати, насколько корректно гонять по 2moves_v1 100 тыс. партий, учитывая, что в книге всего 32 тыс. стартовых позиций?
Maratka вне форума   Ответить с цитированием
Старый 01.04.2018, 21:37   #81
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, думаю, что корректно, т. к присутствует фактор случайности. Но я скажу результат, когда будет 10000
sovaz1997 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (01.04.2018)
Старый 02.04.2018, 07:40   #82
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Предварительные результаты:

Код:
Score of Stockfish 010418 64 Test41_new_source vs Stockfish 010418 64 POPCNT_new_source: 1767 - 1782 - 4222  [0.499] 7771
sovaz1997 вне форума   Ответить с цитированием
Старый 02.04.2018, 09:51   #83
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Мда...
На сверхкоротком контроле, дабы убедиться, что патч вообще работает все было куда как красивее:

Код:
Games Completed = 5000 of 5000 (Avg game length = 7.763 sec)					
Settings = RR/4MB/2500ms+25ms/M 1000cp for 12 moves, D 150 moves/PGN:E:\Games\Chess\LittleBlitzer-2.74\2moves_v1.pgn(32000)					
Time = 5847 sec elapsed, 0 sec remaining					
 1.  Stockfish 300318 64 POPCNT	2417.5/5000	1305-1470-2225  	(L: m=512 t=2 i=0 a=956)	(D: r=1415 i=492 f=144 s=61 a=113)	(tpm=52.1 d=13.09 nps=1226415)
 2.  Stockfish 010418 64 Test41	2582.5/5000	1470-1305-2225  	(L: m=429 t=1 i=0 a=875)	(D: r=1415 i=492 f=144 s=61 a=113)	(tpm=52.0 d=13.11 nps=1226214)
+11 Elo					
					
					
					
Games Completed = 5000 of 5000 (Avg game length = 7.775 sec)					
Settings = RR/4MB/2500ms+25ms/M 1000cp for 12 moves, D 150 moves/PGN:E:\Games\Chess\LittleBlitzer-2.74\2moves_v1.pgn(32000)					
Time = 7885 sec elapsed, 0 sec remaining					
 1.  Stockfish 010418 64 POPCNT_new_source	2474.5/5000	1359-1410-2231  	(L: m=454 t=0 i=0 a=956)	(D: r=1412 i=510 f=150 s=59 a=100)	(tpm=52.0 d=13.08 nps=1242864)
 2.  Stockfish 010418 64 Test41_new_source	2525.5/5000	1410-1359-2231  	(L: m=437 t=0 i=0 a=922)	(D: r=1412 i=510 f=150 s=59 a=100)	(tpm=52.0 d=13.08 nps=1242441)
Maratka вне форума   Ответить с цитированием
Старый 02.04.2018, 11:04   #84
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

Цитата: Сообщение от sovaz1997
Предварительные результаты:
Останавливайте тесты, в коде ошибка
Maratka вне форума   Ответить с цитированием
Старый 02.04.2018, 12:59   #85
sovaz1997
Гроссмейстер
 
Аватар для sovaz1997
 
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 1,241
Сказал(а) спасибо: 904
Поблагодарили 1,296 раз(а) в 800 сообщениях
Репутация: 40
По умолчанию Re: Тестирование неофициальных патчей

Maratka, хорошо, через час буду дома. Можете скинуть исправленный вариант?
sovaz1997 вне форума   Ответить с цитированием
Старый 02.04.2018, 16:19   #86
Maratka
Гроссмейстер
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 2,806
Сказал(а) спасибо: 630
Поблагодарили 2,553 раз(а) в 1,768 сообщениях
Репутация: 64
По умолчанию Re: Тестирование неофициальных патчей

По готовности...
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
sovaz1997 (02.04.2018)
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 08:12. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2018, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru