Stockfish и его производные

[Харлампий]

Stockfish 12

Stockfish 11

Stockfish 10

Stockfish 9

Stockfish 8

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[byan_mivv]

CorChess 6.0 240320 - без Стокфиша в архиве...

https://www.datafilehost.com/d/d0db5fdb

[Кевин]

Author: protonspring
Date: Wed Mar 25 21:42:33 2020 +0100
Timestamp: 1585168953

Remove KNPKB endgame.

This is a functional simplification that removes the KNPKB endgame.

Testing on only KNPKB positions suggests that this removal actually gains Elo:

Score of patch vs master: 3380 - 3035 - 33585 [0.504] 40000
Elo difference: 3.0 +/- 1.4, LOS: 100.0 %, DrawRatio: 84.0 %

Score of patch vs master: 290 - 36 - 39674 [0.503] 40000
Elo difference: 2.2 +/- 0.3, LOS: 100.0 %, DrawRatio: 99.2 %

removal also doesn't cause a regression with the standard book:

STC
LLR: 2.95 (-2.94,2.94) {-1.50,0.50}
Total: 71376 W: 13794 L: 13719 D: 43863 Elo +0.37
Ptnml(0-2): 1066, 8092, 17290, 8181, 1059
https://tests.stockfishchess.org/tes...2a5c3b3ca2e8be

LTC
LLR: 2.95 (-2.94,2.94) {-1.50,0.50}
Total: 28394 W: 3731 L: 3662 D: 21001 Elo +0.84
Ptnml(0-2): 167, 2339, 9116, 2408, 167
https://tests.stockfishchess.org/tes...2a5c3b3ca2e8d3

closes https://github.com/official-stockfis...fish/pull/2594

Bench 5480811

http://abrok.eu/stockfish/

[Maratka]

В общем-то интересно, за счет чего эти патчи проходят?
Код становится компактнее, и быстрее, или движок в целом "понял", как оно играть?

Т.е. если первое, то оно в общем-то бесполезно.
Если второе, то... в общем-то тоже бесполезно, ибо пятифигурки размером в жалкий гигабайт уж у любого то найдутся...

Отсюда - откуда рост?

[Vizvezdenec]

В данном случае и первое, и второе.
Мелочи, конечно, но всё же.
Опять-таки, далеко не всё в endgame.cpp учитывается таблицами, да и на фиштесте никаких таблиц нет.
А то, что там написано, даёт типа 30 эло на стандартной книге и 50 на эндшпильной.

[Кевин]

https://tests.stockfishchess.org/tes...2a5c3b3ca2eb16 - и ещё одно упрощение прошло.

[Alex_Zet]

Цитата: Сообщение от Кевин

3 эло (+-1.3) по итогам регресс-теста. Неплохо!

Если быть точнее ELO: 2.94, а с учетом первого регресса ELO: 1.33 получаем 4.27 эло прибавки за 2 месяца и 1 неделю.
Это примерно 24 эло в год или новая 12 версия выйдет не ранее января 2022 года.

+31 Elo SF3 vs SF2.3.1  
+57 Elo SF4 vs SF3      
+67 Elo SFDD vs SF4     
+55 Elo SF5 vs SFDD     
+52 Elo SF6 vs SF5      
+62 Elo SF7 vs SF6      
+77 Elo SF8 vs SF7      
+57 Elo SF9 vs SF8      
+54 Elo SF10 vs SF9     
+53 Elo SF11 vs SF10

Но то как тащат Стокфиш сейчас на ТСЕС, так зачем они вообще и нужны

[Vizvezdenec]

Это мой же код упростили, который уменьшает оценку в ничьих типа "3х2 на одном фланге".
Оказывается, не обязательно, чтобы проходных не было.

[Омегазеро]

Цитата: Сообщение от Alex_Zet

Если я правильно понял то конечную сумму 14.49 ЭЛО надо умножить на 0.3 и получим 4.34 ЭЛО.
Вы сами в это верите?

Вы же сами написали

Цитата: Сообщение от Alex_Zet

Если быть точнее ELO: 2.94, а с учетом первого регресса ELO: 1.33 получаем 4.27 эло прибавки за 2 месяца и 1 неделю.

То есть коэффициент 0.3, взятый из самоЭло Лилы, работает и для самоЭло Стокфиша

[Maratka]

Цитата: Сообщение от Vizvezdenec

А то, что там написано, даёт типа 30 эло на стандартной книге и 50 на эндшпильной.

Насколько помню, недавно еще 1-2, может и 3 упрощения на эту тему было.

Нельзя ли собрать две сборки: с ними и без них, и проверить коммутативно именно эти упрощения, без усиливающих патчей?

[Maratka]

Цитата: Сообщение от Омегазеро

То есть коэффициент 0.3, взятый из самоЭло Лилы, работает и для самоЭло Стокфиша

Да не работает он. В том смысле, что какой-то k там есть, но очень сомневаюсь, что 0.3: все патчи, какие прошли не за два месяца и неделю, а за полтора месяца, т.к. были изменены границы прохождения, и патчи за первые три недели были банально аннулированы.

[Vizvezdenec]

Коэффициент перевода эло именно из регресс-тестов в рейтинг-листы я бы сказал в районе 0.8. По крайней мере если судить по sf9 -> 10 -> 11.
В основном он меньше 1 за счёт того, что прошлая версия играет с дефолтным contempt против мастера, т.е. проигрывает больше эло, чем должны бы.
А вот sf8 -> 9 он был больше 1, т.к. там contempt добавили, который просто так дал 20 эло во всех рейтинг-листах. До этого он был примерно 1.

[Кевин]

Vizvezdenec, а что этот новопрошедший патч (эло-гейнер!) делает?

https://tests.stockfishchess.org/tes...2a5c3b3ca2eb75

[Alex_Zet]

Цитата: Сообщение от Омегазеро

Вы же сами написали

То есть коэффициент 0.3, взятый из самоЭло Лилы, работает и для самоЭло Стокфиша

То что последний регресс даст не более 3 эло я знал и без всяких коэффициентов. Перед следующим регрессом дам свой прогноз. Тут большого ума не нужно.

[Омегазеро]

Цитата: Сообщение от Maratka

Да не работает он. В том смысле, что какой-то k там есть, но очень сомневаюсь, что 0.3: все патчи, какие прошли не за два месяца и неделю, а за полтора месяца, т.к. были изменены границы прохождения, и патчи за первые три недели были банально аннулированы.

Alex_Zet не считал патчи, которые были аннулированы. У них аж +28

С каких пор границы прохождения влияют на аддитивность патчей?

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Коэффициент перевода эло именно из регресс-тестов в рейтинг-листы я бы сказал в районе 0.8. По крайней мере если судить по sf9 -> 10 -> 11.
В основном он меньше 1 за счёт того, что прошлая версия играет с дефолтным contempt против мастера, т.е. проигрывает больше эло, чем должны бы.
А вот sf8 -> 9 он был больше 1, т.к. там contempt добавили, который просто так дал 20 эло во всех рейтинг-листах. До этого он был примерно 1.

А вы сложите Эло всех патчей, которые накопились за год - и сравните с настоящим Эло (+53)

[Maratka]

Цитата: Сообщение от Омегазеро

Alex_Zet не считал патчи, которые были аннулированы. У них аж +28

Да хоть сколько, пусть и сотня.
Реально разработка пошла где-то с середины февраля, ибо все предыдущие патчи после релиза SF11 были аннулированы, т.е. патчи реально пишутся не ~9, а ~6 недель.

Цитата: Сообщение от Омегазеро

С каких пор границы прохождения влияют на аддитивность патчей?

А поставьте границы а-ля (-4 - 0,5) вместо текущих (0,25 - 1,75), и посмотрите, как оно сложится.

[Омегазеро]

Цитата: Сообщение от Maratka

А поставьте границы а-ля (-4 - 0,5) вместо текущих (0,25 - 1,75), и посмотрите, как оно сложится.

Если посмотреть, что тогда было, то никаких -4 не было

20-01-17

LLR: -2.95 (-2.94,2.94) {0.00,2.00}
Total: 68469 W: 8835 L: 8760 D: 50874
Ptnml(0-2): 470, 6513, 20213, 6497, 513

LLR: 2.94 (-2.94,2.94) {-1.00,3.00}
Total: 28032 W: 5408 L: 5234 D: 17390
Ptnml(0-2): 455, 3218, 6527, 3301, 501

LLR: -2.94 (-2.94,2.94) {0.00,2.00}
Total: 48725 W: 6237 L: 6227 D: 36261
Ptnml(0-2): 347, 4630, 14413, 4577, 380

В частности, знаменитый "жирный" патч, оказавшийся нулевым, имел границы +7.71 [3.37,12.05]

Имейте смелость признать, что вы все эти годы неправильно считали границы, отсюда все беды

Повторяю свою главную мысль:

границы зависят от выбора дебютов (их сбалансированности и репрезентативности), а также от соотношения детерминированности и случайности в игре движков

но эти факторы никто не учитывал, не учитывает и не хочет учитывать

[Maratka]

Цитата: Сообщение от Омегазеро

Если посмотреть, что тогда было, то никаких -4 не было

Я подумал, что понятно будет, что я утрирую.

Цитата: Сообщение от Омегазеро

Повторяю свою главную мысль:
границы зависят от выбора дебютов (их сбалансированности и репрезентативности), а также от соотношения детерминированности и случайности в игре движков
но эти факторы никто не учитывал, не учитывает и не хочет учитывать

Что приведет к обучению в игры в дебюты, а не в шахматы.

LZ идет по первому пути, и собственно потому и перегрывает практически вчистую SF'ша с начальной позиции без книги. Т.е. играя в целом на том же уровне, что и SF, он вытягивает за счет дебюта, а дальше 50/50 - либо выиграет, либо не выиграет, но никогда не проиграет (если только не фирменные зевки тактики).

SF - по второму, потому некую случайную позицию он анализирует вполне себе сравнимо с LZ, возможно даже несколько лучше.

И я не уверен, что первый вариант правильнее второго.

[Кевин]

Author: xoto10
Date: Thu Mar 26 17:46:51 2020 +0100
Timestamp: 1585241211

Remove passed_count from almostUnwinnable.

This simplification allows the almostUnwinnable flag to match endgames where the pawns are all on the same flank but are not symmetrical.

STC:
LLR: 2.94 (-2.94,2.94) {-1.50,0.50}
Total: 23356 W: 4543 L: 4395 D: 14418 Elo +2.20
Ptnml(0-2): 346, 2651, 5582, 2707, 392
https://tests.stockfishchess.org/tes...2a5c3b3ca2eb09

LTC:
LLR: 2.96 (-2.94,2.94) {-1.50,0.50}
Total: 31778 W: 4097 L: 4023 D: 23658 Elo +0.81
Ptnml(0-2): 199, 2853, 9729, 2891, 217
https://tests.stockfishchess.org/tes...2a5c3b3ca2eb16

closes https://github.com/official-stockfis...fish/pull/2596

Bench 4777139

http://abrok.eu/stockfish/

[Кевин]

Author: Lyudmil Antonov
Date: Thu Mar 26 17:49:28 2020 +0100
Timestamp: 1585241368

Tuned history reduction

Value after a long Bayesian tuning, using a home-made classification approach.

STC
https://tests.stockfishchess.org/tes...2a5c3b3ca2eb66
LLR: 2.96 (-2.94,2.94) {-0.50,1.50}
Total: 45472 W: 8992 L: 8732 D: 27748 Elo +1.99
Ptnml(0-2): 795, 5276, 10352, 5500, 813

LTC
https://tests.stockfishchess.org/tes...2a5c3b3ca2eb75
LLR: 2.94 (-2.94,2.94) {0.25,1.75}
Total: 22744 W: 3085 L: 2849 D: 16810 Elo +3.61
Ptnml(0-2): 156, 2090, 6658, 2298, 170

closes https://github.com/official-stockfis...fish/pull/2597

Bench 5030855

http://abrok.eu/stockfish/

[Vizvezdenec]

Цитата: Сообщение от Омегазеро

Имейте смелость признать, что вы все эти годы неправильно считали границы, отсюда все беды

Бедный стокфиш, набирает жалкие 50+ эло в год, не то что ваш движок, для которого вы правильно считаете границы.
Это, кстати, какой?
Имейте смелость признать, что вы - никто и звать вас никак, ваше мнение можно прочитать, но не более того.

[Омегазеро]

Цитата: Сообщение от Maratka

вместо текущих (0,25 - 1,75)

Цитата: Сообщение от Кевин

Author: xoto10
Date: Thu Mar 26 17:46:51 2020 +0100
n the same flank but are not symmetrical.

STC:
LLR: 2.94 (-2.94,2.94) {-1.50,0.50}

[Maratka]

Омегазеро, не путайте тесты упрощений, тесты на усиление с низким контролем (10 секунд), и окончательные усиливающие тесты на минуте, после прохождения второго: первый идет лишь как ориентир, он отсеивает практически все заведомо не дающие ELO, а последний - подтверждает, что в первом все нормально. Ну либо не подтверждает, что бывает в 90-95% случаев.

Тем самым обеспечивается высокая вероятность прохождения теста при границах (0,25 - 1,75): они фактически все дают ELO. Вот правда не все много, как написано (но так оно и не должно быть столько, ибо в выводе - среднее арифметическое от минимума и максимума). Точные значения в общем-то тоже присутствуют, вида:
Elo 3.35 [1.03,5.65] (95%)


Т.е. в среднем по расчету с 95% вероятностью 3.35, но разброс от 1.03 до 5.65 (опять, же с вероятностью 95%).
С вероятностью 5% ELO выйдет за границы [1.03,5.65], но выйдет тем с меньшей вероятностью, чем сильнее значение не попадает в диапазон [1.03,5.65].
Т.е. есть конечно какие-то там 0,00012%, что этот патч дает минус 6 ELO, но есть и та же вероятность, что он дает на деле плюс 14 ELO.

Ну а почему все же не складывается более-менее линейно - зачастую потому, что очередной усиливающий патч запущен до принятия пройденного последнего, и он может так или иначе конфликтовать с ним, ибо тестируется не против текущего мастера, а против прошлого мастера.

Это похоже на уровень зарплаты: если Васе добавили 12% от базовой 25 тыс. рублей, Пете 12% от 40 тыс, а Ирине 15% от 12 тыс., то как в процентах она вырастет в среднем - считается просто, а вот как в рублях - уже сложнее.

Кстати, в тестах SF оно видно сразу: патчи проходят если прошли в нужных границах с достаточной точностью, а регресс считается на фиксированном кол-ве партий. Формально я думаю можно попробовать запустить регресс и по правилу прохождения патчей, т.е. в границе (0,25 - 1,75) до достижения LLR 2.94 и LOS около 95% (точно не помню).

Уверен, что тогда оно будет масштабироваться более линейно.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Это, кстати, какой?

Омегазеро не понимает, что в перспективе в a-b можно написать сколь угодно сложную эвристику, и выверить коэффициенты в формулах со сколь угодно большой точностью, ибо лучший в мире интеллект - это естественный интеллект.
Уж как-то так случилось, что естественный интеллект пишет алгоритмы для ИИ, а не наоборот. :D

А вот пределы самообучалок видны сразу: они тупят в тактике, и я не уверен, что это можно исправить обучением или кодом, ибо проблема в низкой глубине счета.

a-b же рано или поздно поднимет свое понимание позиционной игры (и игры в дебютах с начальной позиции как частного случая), просто в силу развития понимания шахмат как нечто цельного, которое не делится на дебют, миттельшпиль, и эндшпиль.

[Maratka]

Vizvezdenec, кстати насколько реально просто для пробы запустить вот это:

Цитата: Сообщение от Maratka

Кстати, в тестах SF оно видно сразу: патчи проходят если прошли в нужных границах с достаточной точностью, а регресс считается на фиксированном кол-ве партий. Формально я думаю можно попробовать запустить регресс и по правилу прохождения патчей, т.е. в границе (0,25 - 1,75) до достижения LLR 2.94 и LOS около 95% (точно не помню).

Просто интересно, насколько линейно сложатся суммы патчей, вошедших в данный мастер после последнего релиза.

[Омегазеро]

Цитата: Сообщение от Maratka

в среднем по расчету с 95% вероятностью 3.35, но разброс от 1.03 до 5.65 (опять, же с вероятностью 95%)

Откуда вы такие бредовые цифры берёте?

Есть математические истины, знакомые каждому первокурснику

Есть сила игры
Есть модель Эло, которая описывает силу с некоторой ошибкой
Каким идиотом надо быть, чтобы считать, что эта ошибка равно нулю - т.е. модель Эло идеально описывает силу игры движков?

Есть дебютные наборы
Есть патчи, которые по-разному играют на разных группах дебютов
Каким идиотом надо быть, чтобы считать, что вызванная этим ошибка равна нулю - т.е. выбранный дебютный набор идеально репрезентативный и сбалансированный для любого мыслимого патча?

На самом деле обе эти ошибки неустранимы и велики
Их невозможно свести к нулю бесконечным увеличением числа партий

Поэтому ваши "границы с 95% вероятностью" - бред

[Alex_Lk]

Цитата: Сообщение от Омегазеро

В частности, знаменитый "жирный" патч, оказавшийся нулевым, имел границы +7.71 [3.37,12.05]
Имейте смелость признать, что вы все эти годы неправильно считали границы, отсюда все беды
Повторяю свою главную мысль:
границы зависят от выбора дебютов (их сбалансированности и репрезентативности), а также от соотношения детерминированности и случайности в игре движков
но эти факторы никто не учитывал, не учитывает и не хочет учитывать

Так. Давайте спокойно. А то этот красный цвет, просто пугает.

Да все эти вычисления не точны. Не то что сотые и десятые, даже целые этих вычислений не являются достоверными цифрами. Короче ошибка сопоставима с результатом а иногда и превосходит его.

Патч оказался "жирным" просто потому что ошибка сложилась с результатом, обычное дело.

Весь огород городится для ответа на простой вопрос, патч усилит движок или нет.

Именно это тестовая система и делает. Не пропускает "мусорные" патчи. Конечно иногда не пускает и хорошие. Но нет ничего совершенного в этом мире.

То что вы выделяете красным Это понятно. А кому не понятно тому и не надо.

Предложите что-нибудь более работоспособное, чем действующая система.

Кстати

Цитата: Сообщение от Омегазеро

На самом деле обе эти ошибки неустранимы и велики
Их невозможно свести к нулю бесконечным увеличением числа партий

Все таки ошибки будут стремиться к нулю.

[Vizvezdenec]

Забавно, что основной прогресс ещё рыбки пошёл, когда отошли от "тестируем патч на 20 дебютах по 1000 партий на длинном временном контроле" и перешли к "тестируем патч на очень быстрых контролях на всякой ерунде и десятками тысяч партий".
Но люди каждый раз, когда у стокфиша застой, всё пытаются пропихнуть первый вариант.
Есть одно "но". Разработка шахматного движка в текущей постановке задачи - задача НЕ математическая.
Она математической была во времена годов 60-70-80-х. Сейчас это задача ИНЖЕНЕРНАЯ.
И это - принципиально разный тип задач.
Никого не интересует строгое определение чего-либо. Интересует только показываемая на практике сила игры. И текущий подход с такой точки зрения доказал свою состоятельность, большую, чем прошлый, сделав движок из топ-10 2008-9 годов топ-1 последних лет с небольшими в общем-то перерывами.
А дальше можно изголяться, писать модели, рассказывать, как надо. Только вот в ИНЖЕНЕРНОЙ задаче это всё абсолютно никому не интересно. Интересна сила игры, а пока нету другого подхода, который бы её бОльшую выдавал - никому ваши матрицы, рассуждения про то, как правильно считать эло и прочая чепуха не нужны.
Кстати говоря, так в стокфише появился SPSA, который, в общем-то, не является математически строгим методом тюнинга, зато хорошо параллелится. И он дал 50+ эло за первые несколько месяцев использования, хоть и "неправильный".
PS Очень жаль, но все эти ошибки и т.д. даже на одном и том же наборе дебютов никуда не исчезают. Регресс-тесты по книге, по которой проходят сами тесты, делались не раз, они дают где-то на 10-20% больше, чем по 8-ходовой, но при этом всё равно это невероятно далеко от того, что получается, если просто сложить ожидания эло от SPRT.
Перед тем, как городить огород, неплохо бы ещё вспомнить, что тест "master против прошлой версии" без книги вообще выдаёт полностью случайные результаты, которые невероятно сильно зависят от того, временной контроль там 12+0.12 или 12.1+0.121, вплоть до 100 эло разницы набирается вообще без проблем.
Ну и да, какие же "беды"? Эло вроде бы растёт, объективная сила игры тоже. Делает это уже больше 10 лет Считаете, что если тестировать как-то по-другому, то будет расти быстрее? Ну начните тестировать и докажите, что все ошибаются. Да только тут "*****ть - не мешки ворочать".
Вон Комодо за последние 5 лет осилил 60-70 эло прибавить, стокфиш - 250-300, но, оказывается, это у стокфиша куча проблем

[sergey1963]

Все это убедительно, но не здорово. Инженеры- это тюнингисты гениев-первооткрывателей. Первые показали куда идти, вторые довели изделие до совершенства, вплоть до кондишэна и подогрева сидений в автомобиле (и плевательница с прикуривателем тоже). Но неизбежно наступает предел- еще в 1920 году массовые автомобили развивали скорость до 260 км/час- как сейчас?- далеко ушли за 100 лет?
Стокфиш отшлифован почти до предела- ну максимум 50-100 эло впереди. Посмотрите на основу- правильно говорит Омегазеро (а до этого тоже самое лет 5 назад говорил я)- теория вероятности. Она основана для 2 результатов- выигрыш-проигрыш и независимости от выступки (там нет 1-го хода белых). У нас же не 2- а 6 разных оценок!!! Ничья (кстати более половины случаев, чем выигрышей и проигрышей вместе взятых), выигрыш и проигрыш умножаем на белых и черных (комбинаторика)- на выходе 6 итогов... Вот откуда перекос при тестировании на УДК (ультрадлинных контролях). Есть вообще дебюты- где ничья неизбежна- что и показывают игры с 1 ядром против 100, есть где 1 ядро запросто выиграет у 100- в рисковых дебютах.
Что делают нейросети? Показывают вероятность победы после прогона тренировочных партий- так это же видоизмененная дебютная книга с продолжением вплоть до эндшпиля. Почему нейросетями играется плохо сам эндшпиль?- так никто из соперников не доживает до него (как в былые времена при игре с Каспаровым), а вот потренируйте их на 7-фигурках- на выходе получите монстра с 15 фигур и меньше...

[Vizvezdenec]

Ну что максимум 100 эло впереди, я ещё во времена релиза 8 версии стока слышал, она уже играла "ну почти идеально"
С тех пор прошло 150 эло...