Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки > Турниры и сборки движков

Ответ
 
Опции темы Опции просмотра
Старый 31.05.2020, 18:47   #1621
alchemist888
1 разряд
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 555
Сказал(а) спасибо: 265
Поблагодарили 513 раз(а) в 280 сообщениях
Репутация: 46
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Омегазеро
Вы сами выслали мне дебюты для теста из 100 партий, видимо вам они нравятся
Я присылал Вам дебюты для матчей из 100 партий, потому что Вы именно такие тесты и проводите, а это все же лучше чем ничего.

Цитата: Сообщение от Омегазеро
"Почему 30 Elo, а не 50, или 100? Как Вы вычислили это значение?" (c)
А вы не догадываетесь?
Интересно, что сейчас на CCCC играет сеть 63604. Если она гораздо слабее SV-3010 в перерасчете на nps, зачем её туда послали?
Нет, не догадываюсь.
В CCCC могут выставлять все, что они хотят. Там админ в развлекательных ивентах делает то что ему интересно, не спрашивая сообщество LCZero.
Тот турнир игрался с armageddon параметрами, а сеть 63604 была выставлена с целью посмотреть, как проявит себя MLH режим.

Цитата: Сообщение от Омегазеро
То есть вы признаете, что рейтинг может меняться на десятки Эло в зависимости от подбора дебютов?
Отлично, это уже прогресс!
Я этого никогда не отрицал. Есть дебюты, которые Лила играет хорошо, а есть которые плохо. Тоже самое справедливо для SF. Причем эта ситуация может меняться с увеличением, или уменьшением контроля времени на партию.
Но проводя тесты на 100 партий, Вы во-первых получаете ограниченную картину, а во-вторых результат отдельно взятой партии оказывает слишком большое значение на финальный результат и разницу в Elo.
Другое дело когда у нас 2000 различных дебютов, причем по-настоящему различных, а не таких, когда одна и та же партия повторяется несколько раз, как было в недавнем Megamatch на CCCC.

Цитата: Сообщение от Омегазеро
Если позиции брать из базы реальных партий с учетом их результативности, мусора там не будет
А "разнообразные дебюты" - это только начала реальных партий, вдобавок сильно разбавленные нереальными мусорными дебютами. Правильные стратегии могут потонуть в статистическом шуме
Так у Вас есть такая база позиций? Тысяч десять для фиштеста вполне хватило бы.

Цитата: Сообщение от Омегазеро
То есть вы категорически исключаете возможность, что движок может усиливаться на мусорных дебютах и ослабевать на классических?
Всегда ли оптимизация на нестандартных, граничных значениях может привести к оптимизации на стандартных, распространенных?
Вероятность того, что движок будет усиливаться именно на "мусорных" дебютах, а на обычных слабеть крайне мала. Чаще всего там будет некое распределение в не зависимости от того к какому классу Вы отнесли тот, или иной дебют. Для AB движков такой эффект еще менее вероятен. Это у нейронных сетей могут совершенно странные "слепые пятна". AB движки в этом плане несколько стабильнее.
alchemist888 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (31.05.2020)
Старый 31.05.2020, 18:52   #1622
Maratka
Эксперт
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 8,637
Сказал(а) спасибо: 2,294
Поблагодарили 4,757 раз(а) в 3,395 сообщениях
Репутация: 150
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
AB движки в этом плане несколько стабильнее.
Я бы сказал, что заметно стабильнее, ибо они суть есть чистая математика, которая никак не зависит от накопленного ранее опыта: любая случайная позиция a-b движком оценивается "как есть" (естественно в зависимости от продвинутости оценочной функции), тогда как сетям нужно, чтобы ранее они обучались "на подобии".

Собственно полный провал сетей 3xx на позициях, где более двух ферзей - это отличное доказательство: сеть училась... и научилась играть без такого материала: чем больше училась, тем больше стремилась поставить материал, где трех ферзей нет, а любой a-b с этим материалом оперирует запросто, как и вообще с любым.
Maratka вне форума   Ответить с цитированием
Старый 31.05.2020, 19:04   #1623
Омегазеро
Мастер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 902
Сказал(а) спасибо: 2
Поблагодарили 488 раз(а) в 259 сообщениях
Репутация: 61
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
Я присылал Вам дебюты для матчей из 100 партий, потому что Вы именно такие тесты и проводите, а это все же лучше чем ничего
Я проводила на 400 и на 200
Цитата: Сообщение от alchemist888
Нет, не догадываюсь
Уменьшение скорости на 1,8 для первого движка приблизительно равносильно увеличению скорости на 1,8 для второго движка, а по Стокфишу есть таблицы роста его Эло в зависимости от скорости

Цитата: Сообщение от alchemist888
Но проводя тесты на 100 партий
на 400 и на 200
100 - это были ваши дебюты
Цитата: Сообщение от alchemist888
слишком большое значение на финальный результат и разницу в Elo
это проверяется повторными тестами
и если они не показывают больших колебаний, то значение вовсе не слишком большое
Цитата: Сообщение от alchemist888
Вероятность того, что движок будет усиливаться именно на "мусорных" дебютах, а на обычных слабеть крайне мала
Повторяю
Цитата:
Разве оптимизация на нестандартных, граничных значениях может привести к оптимизации на стандартных, распространенных?
Мала вероятность обратного!
Омегазеро вне форума   Ответить с цитированием
Старый 31.05.2020, 19:05   #1624
Maratka
Эксперт
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 8,637
Сказал(а) спасибо: 2,294
Поблагодарили 4,757 раз(а) в 3,395 сообщениях
Репутация: 150
По умолчанию Re: Chess.com Computer Chess Championship 9

Кстати, где эту SV-3010 можно взять?
Хочу у себя покатать против SF'ша...
Maratka вне форума   Ответить с цитированием
Старый 31.05.2020, 19:10   #1625
Maratka
Эксперт
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 8,637
Сказал(а) спасибо: 2,294
Поблагодарили 4,757 раз(а) в 3,395 сообщениях
Репутация: 150
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Омегазеро
Я проводила на 400
400 по книге из 200? Или из 100?

Цитата: Сообщение от Омегазеро
100 - это были ваши дебюты
Ну ясно же объянил человек - дал 100, потому что Вы играете обычно 200 партий с переменой цвета, для чего нужно именно 100 дебютов.

Начните играть хотя бы 1000 партий, и наверное можно будет найти 500 дебютов для этого.


Цитата: Сообщение от Омегазеро
это проверяется повторными тестами
Не проверяется, если дебюты одни и те же. Условно, сколько Вы не переигрывайте разные варианты французской или итальянской, SF всегда возьмет где-то 40% очков. На чем-то там другом совершенно стабильно возьмет 60%. Но если французской и итальянской в книге 60%, а "другого" - соответственно 40%, то SF будет стабильно брать 45% очков. А если наоборот, 40% и 60% соответственно, то стабильно 55% очков.
И я даже не представляю, как это может быть не очевидно!

Вот если бы вместе с тестами менялась бы и книга - это более было бы похоже на выяснение кто лучше в среднем. А тут Вы вычисляете лишь кто лучше на вполне конкретном наборе позиций.
Maratka вне форума   Ответить с цитированием
Старый 31.05.2020, 19:13   #1626
alchemist888
1 разряд
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 555
Сказал(а) спасибо: 265
Поблагодарили 513 раз(а) в 280 сообщениях
Репутация: 46
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Омегазеро
Я проводила на 400 и на 200
100-200 у Вас видел регулярно, а 400 в основном по праздникам
Да и сути это не меняет. Даже 400 партий - это 200 дебютных линий, а в шахматах их намного больше

Цитата: Сообщение от Омегазеро
Уменьшение скорости на 1,8 для первого движка приблизительно равносильно увеличению скорости на 1,8 для второго движка, а по Стокфишу есть таблицы роста его Эло в зависимости от скорости
Зачем Вы мешаете в кучу то как параллелится SF и Лила? У Вас есть данные о зависимостях Elo от nodes/move для более-менее новых сетей LCZero?

Цитата: Сообщение от Омегазеро
Разве оптимизация на нестандартных, граничных значениях может привести к оптимизации на стандартных, распространенных?
Это к чему?
alchemist888 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Maratka (31.05.2020)
Старый 31.05.2020, 19:17   #1627
alchemist888
1 разряд
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 555
Сказал(а) спасибо: 265
Поблагодарили 513 раз(а) в 280 сообщениях
Репутация: 46
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Maratka
Кстати, где эту SV-3010 можно взять?
Хочу у себя покатать против SF'ша...
Даю ссылку на общий репозиторий от Sergio Vieri
https://www.comp.nus.edu.sg/~sergio-v/
Сеть SV-3010 там находится по пути T60 -> 384x30 -> 384x30-t60-3010.pb.gz
alchemist888 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Maratka (31.05.2020), Владимир001 (31.05.2020)
Старый 31.05.2020, 19:25   #1628
Омегазеро
Мастер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 902
Сказал(а) спасибо: 2
Поблагодарили 488 раз(а) в 259 сообщениях
Репутация: 61
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
100-200 у Вас видел регулярно, а 400 в основном по праздникам
При этом я повторяла тесты по три раза, то есть уже 600
Цитата: Сообщение от alchemist888
а в шахматах их намного больше
Это вопрос о репрезентативности
Поэтому я использую одноходовые дебюты - там наибольшая репрезентативность, 100 из 400. Одна четверть

А на ваших четырехходовках число вариантов 318 млрд 979 млн 564 тысячи
Как докажете репрезентативность хотя бы 10 тысяч дебютов?
Это одна тридцатимиллионая доля возможных ходов
Цитата: Сообщение от alchemist888
Зачем Вы мешаете в кучу то как параллелится SF и Лила?
Я ничего не мешаю
Вам непонятно, что в матчах двух движков разность Эло взаимна?
Омегазеро вне форума   Ответить с цитированием
Старый 31.05.2020, 19:27   #1629
Омегазеро
Мастер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 902
Сказал(а) спасибо: 2
Поблагодарили 488 раз(а) в 259 сообщениях
Репутация: 61
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
Сеть SV-3010 там находится по пути T60 -> 384x30 -> 384x30-t60-3010.pb.gz
Вы настаиваете на том, что сеть 3907 гораздо слабее?

https://www.comp.nus.edu.sg/~sergio-...t60-3907.pb.gz
Омегазеро вне форума   Ответить с цитированием
Старый 31.05.2020, 20:33   #1630
alchemist888
1 разряд
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 555
Сказал(а) спасибо: 265
Поблагодарили 513 раз(а) в 280 сообщениях
Репутация: 46
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Омегазеро
При этом я повторяла тесты по три раза, то есть уже 600
И в некоторой степени Вы решили вопрос с разбросом результатов, хотя и весьма частично. При этом почти никак не увеличив вариативность дебютных позиций.

Цитата: Сообщение от Омегазеро
Это вопрос о репрезентативности
Поэтому я использую одноходовые дебюты - там наибольшая репрезентативность, 100 из 400. Одна четверть
На одноходовых дебютах Вы лишь узнаете как обычно движки отвечают вторым ходом и в какие линии потом идут. При этом возможно приличное количество транспозиций с приходом к одним и тем же линиям при разных первых ходах.
Такой тест покажет, что, например, Лила играет с первых ходов более качественно, чем Стокфиш. Однако, он слабо отразит общую ситуацию, так как не будет протестировано множество популярных и разнообразных дебютных позиций.

Цитата: Сообщение от Омегазеро
А на ваших четырехходовках число вариантов 318 млрд 979 млн 564 тысячи
Как докажете репрезентативность хотя бы 10 тысяч дебютов?
Это одна тридцатимиллионая доля возможных ходо
Даже если Вы и посчитали приблизительно правильно, то большинство из этих позиций будет откровенным мусором, где каждая из играющих сторон будет поочередно выигрывать свою партию.
Более менее играбельных вариантов значительно меньше, не уверен, что наберется и 2000 дебютных линий (так чтобы явно не повторялись). И такого расклада вполне достаточно, чтобы провести тест на 16000 тыс. партий (в 4 захода), а затем вычислить Elo по среднему. Для большей точности можно взять 8-10 заходов.

Цитата: Сообщение от Омегазеро
Я ничего не мешаю
Вам непонятно, что в матчах двух движков разность Эло взаимна?
Непонятно. На одних значениях nodes/move будет одна разность в Elo, например 1000 и 1800, а на других другая. В Megamatch на СССС эти значения были в районе 60k-100k nodes/move.
У Вас есть данные о том, как меняется Elo на подобных значениях, или хотя бы на тех, которые получаются в Ваших тестах?

Цитата: Сообщение от Омегазеро
Вы настаиваете на том, что сеть 3907 гораздо слабее?
Маратка попросил ссылку на конкретную сеть. А о том насколько сильна сеть 3907 речи не было.
alchemist888 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (31.05.2020)
Старый 01.06.2020, 22:11   #1631
Омегазеро
Мастер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 902
Сказал(а) спасибо: 2
Поблагодарили 488 раз(а) в 259 сообщениях
Репутация: 61
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
Более менее играбельных вариантов значительно меньше, не уверен, что наберется и 2000 дебютных линий (так чтобы явно не повторялись). И такого расклада вполне достаточно
В этом мы с вами сходимся, я тоже оцениваю количество разумных линий в 2 тысячи
В чем беда? Беда в том, что никто не занимается тестовым отбором этих линий
Те наборы, которые гуляют в интернете, сделаны на коленке и не прошли достаточного тестирования на отсутствие систематических ошибок, репрезентативность и сбалансированность
Омегазеро вне форума   Ответить с цитированием
Старый 01.06.2020, 22:12   #1632
Омегазеро
Мастер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 902
Сказал(а) спасибо: 2
Поблагодарили 488 раз(а) в 259 сообщениях
Репутация: 61
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от alchemist888
А о том насколько сильна сеть 3907 речи не было.
А ваше мнение?
Омегазеро вне форума   Ответить с цитированием
Старый 01.06.2020, 22:28   #1633
alchemist888
1 разряд
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 555
Сказал(а) спасибо: 265
Поблагодарили 513 раз(а) в 280 сообщениях
Репутация: 46
По умолчанию Re: Chess.com Computer Chess Championship 9

Цитата: Сообщение от Омегазеро
Те наборы, которые гуляют в интернете, сделаны на коленке и не прошли достаточного тестирования на отсутствие систематических ошибок, репрезентативность и сбалансированность
Можете попробовать сделать идеальную книгу для тестов самостоятельно. Там очень много работы на самом деле

Цитата: Сообщение от Омегазеро
"А о том насколько сильна сеть 3907 речи не было."
А ваше мнение?
Сеть показала себя близкой по силе с 3010, на низких nodes/move, слегка ей уступив. Но, насколько я слышал, текущий LR этого тест рана выше, чем у SV-3010, а значит обучение продолжается. Нужно подождать еще несколько недель, тогда скорее всего получим более сильную сеть, обученную на последних играх T60 и уже с поддержкой MLH.
alchemist888 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (02.06.2020)
Ответ


Здесь присутствуют: 2 (пользователей: 0 , гостей: 2)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 01:53. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2020, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru