Компьютерная революция в шахматах

Шахматные турниры на форуме, обсуждение теории и новостей

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пн фев 11, 2019 6:27 pm

Oleg писал(а):
kurlemushe писал(а):Но она реально не понимает и не знает что там территория нужна, или материал. Просто у S345 expected выигрыш по предидущим партиями/новыми доп симуляциями - 0.4. Значит оно хорошее.

В статьях же пишут, что оценка позиции у АльфаЗеро идет по количеству параметров раз в 10, превышающем Стокфиш.
То есть, там не только симуляции.

И партий там не миллиарды было, а десятки миллионов, причем в го и сеги также.

Значит там симуляции, результаты которых заструкторированы по параметрами...таким образом нужное число итераций уменьшая.
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение Fouras » Пн фев 11, 2019 6:27 pm

Чтобы побеждать Стокфиш, 0.01 секунды его же игры недостаточно. Нужно дать ему хотя бы секунду.

Чтобы его побеждать, нам надо перебирать отброшенные им ветки не менее чем на 3 хода вперед. То есть, где-то по 1e12 ходов. Если мы на каждый шаг перебора будем спрашивать мнение Стокфиша, потратим 1e12 секунды на ход. Это 31709 лет на поиск каждого более эффективного чем у Стокфиш ответвления.

Вот что значит медленно. Медленно для такой стратегии обучения. Эта стратегия неэффективна.

Другое дело обучать по готовым партиям. Что там статье и описано, собственно.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 4742
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 10
Пол: Мужской

Re: Компьютерная революция в шахматах

Сообщение Oleg » Пн фев 11, 2019 6:47 pm

Чтобы побеждать Стокфиш, 0.01 секунды его же игры недостаточно. Нужно дать ему хотя бы секунду.

Вначале обучать можно и по 0.01, когда идет рост почти с нуля.
Чтобы его побеждать, нам надо перебирать отброшенные им ветки не менее чем на 3 хода вперед.

Cовершенно необязательно перебирать все ветки.
У Альфы отсечение работает в разы лучше, чем у Стокфиша.
В статье утверждается что это за счет метода Монте-Карло, за счет добавления случайных ходов.
По сути жертвы Альфы Стокфиш скорее всего всерьез не рассматривает, вот они и вылезли за счет новой стратегии.
Причем пишут, что старые проги на Монте-Карло играли слабо.
Видимо были проблемы с подбором коэффициентов, тут нейросеть справилась в разы лучше, чем гроссы-консультанты разработчиков старых программ.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 56210
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Re: Компьютерная революция в шахматах

Сообщение Fouras » Пн фев 11, 2019 6:50 pm

Oleg писал(а):
Чтобы побеждать Стокфиш, 0.01 секунды его же игры недостаточно. Нужно дать ему хотя бы секунду.

Вначале обучать можно и по 0.01, когда идет рост почти с нуля.

Ты посмотри на выкладки. При стратегии Курлемише и 1e-3 сек слишком медленно, и 1e-6 сек, без разницы.

Перебирать ветки и ждать отклик Стокфиш в поисках слабого места слишком неэффективно, хотя интуитивно кажется правдоподобной стратегией.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 4742
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 10
Пол: Мужской

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пн фев 11, 2019 6:53 pm

Oleg писал(а):
kurlemushe писал(а):Но, проблема в другом. Она на столько его побьёт в пух и прах на пару найденных ошибок, что будет хорошо работать именно как уничтожитель Стока, а в основном играть на уровне среднего скажем мастера.

Нет, уровень среднего мастера (2400) и даже уровень чемпиона мира среди людей (2800) никак не сможет побить Стокфиш (3200).
Он должен как минимум выйти на уровень близкий к 3200, чтобы обыгрывать Стокфиш.
Но я в целом согласен, что обучение с динамическим соперником более перспективно, чем со статическим Стокфишем.
Сейчас АльфаЗеро приписывают рейтинг в районе 3500.

Идея в том что АЗ нашла бы пару ‘рецептов’ годных для Стокфиша, которые могут и не сработать против не знаю того же Карлсена. Ну там Стокфиш теряется в ситуациях которые определяются параметрами (x, u, z). И тем самим Альфа могла бы и остановить обучение, ведь задача выполнена.
Но хватало бы этого чтоб достичь рейтинга выше Стокфиша?

Если у меня есть неудобный противник который меня обыгрывает, значит ли обязательно что у него рейтинг выше моего?
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение Oleg » Пн фев 11, 2019 6:57 pm

kurlemushe,
новичок - 1600
перворазрядник - 2000
мастер - 2400
чемпион мира - 2800
Стокфиш - 3200
АльфаЗеро - 3500

То есть даже 400 очков рейтинга - это огромный разрыв, а 800 - это избиение младенца.
Удобный-неудобный соперник ощущается в районе 100-200 разницы, не больше.

Поэтому чтобы обыгрывать Стокфиш при любом раскладе надо играть очень мощно.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 56210
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пн фев 11, 2019 7:00 pm

Fouras писал(а):
Oleg писал(а):
Чтобы побеждать Стокфиш, 0.01 секунды его же игры недостаточно. Нужно дать ему хотя бы секунду.

Вначале обучать можно и по 0.01, когда идет рост почти с нуля.

Ты посмотри на выкладки. При стратегии Курлемише и 1e-3 сек слишком медленно, и 1e-6 сек, без разницы.

Перебирать ветки и ждать отклик Стокфиш в поисках слабого места слишком неэффективно, хотя интуитивно кажется правдоподобной стратегией.

Я согласен что брутально все ветки может и не сработать.
Но все равно Альфа может перебрать больше веток чем Стокфиш, но не за одну партию а за миллион партий. Она же ‘помнит’ что делала (все зарегистрировано), а Сток не помнит.
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение Oleg » Пн фев 11, 2019 7:01 pm

kurlemushe, разве Альфа запоминает все ветки?
Мне казалось, что она настраивает веса постепенно для оптимальной игры, как и все нейросети.
То есть "память = подбор коэффициентов", а не база позиций и продолжений.
Хотя для шахмат даже миллион партий - не проблема в базу загнать, они мало весят.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 56210
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Re: Компьютерная революция в шахматах

Сообщение Fouras » Пн фев 11, 2019 7:02 pm

Oleg писал(а):Cовершенно необязательно перебирать все ветки.
У Альфы отсечение работает в разы лучше, чем у Стокфиша.
В статье утверждается что это за счет метода Монте-Карло.
Причем пишут, что старые проги на Монте-Карло играли слабо.
Видимо были проблемы с подбором коэффициентов, тут нейросеть справилась в разы лучше, чем гроссы-консультанты разработчиков старых программ.


Так речь шла об обучении поиском слабого места. В таком случае придется перебирать больше чем смотрит Стокфиш.

Я пытаюсь обосновать почему обучение по готовым партиям на порядки эффективнее. Как доказывают авторы ДипМайнд, игра с минимальным перебором случайных вариантов, с самим собой, для обучения нейросети еще эффективнее.

Из этого вышли две ветки разговора:
Обучение по партиям Стокфиш:
Курлемише говорит, что Альфазеро в этом случае быстро бы обогнал Стокфиш;
я утверждаю, что в этом случае АльфаЗеро скатились бы в локальный оптимум Стокфиша и играла бы хуже за счет медленной скорости, выбраться из этого оптимума не удалось бы.

Вторая ветка:
Курлемише предложил, как я его понял, вариант с поиском слабых мест в игре Стокфиша.
Я утверждаю, что эта стратегия неэффективна и нереализуема из-за скорости работы Стокфиша.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 4742
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 10
Пол: Мужской

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пн фев 11, 2019 7:42 pm

Oleg писал(а):kurlemushe, разве Альфа запоминает все ветки?
Мне казалось, что она настраивает веса постепенно для оптимальной игры, как и все нейросети.
То есть "память = подбор коэффициентов", а не база позиций и продолжений.
Хотя для шахмат даже миллион партий - не проблема в базу загнать, они мало весят.

Как я понимаю она должна по каждой позиции запоминать результаты своих поисков, может не все поиски но результаты.

Но также по сколько там выплыло выражения что в алгоритме она для выбора хода смотрит на "number of visits", значит оно начисляет сколько раз в какую позицию попала, плюс что из этого получилось, неких процент успеха.
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пн фев 11, 2019 8:12 pm

Fouras писал(а):
Oleg писал(а):Cовершенно необязательно перебирать все ветки.
У Альфы отсечение работает в разы лучше, чем у Стокфиша.
В статье утверждается что это за счет метода Монте-Карло.
Причем пишут, что старые проги на Монте-Карло играли слабо.
Видимо были проблемы с подбором коэффициентов, тут нейросеть справилась в разы лучше, чем гроссы-консультанты разработчиков старых программ.


Так речь шла об обучении поиском слабого места. В таком случае придется перебирать больше чем смотрит Стокфиш.

Я пытаюсь обосновать почему обучение по готовым партиям на порядки эффективнее. Как доказывают авторы ДипМайнд, игра с минимальным перебором случайных вариантов, с самим собой, для обучения нейросети еще эффективнее.

Из этого вышли две ветки разговора:
Обучение по партиям Стокфиш:
Курлемише говорит, что Альфазеро в этом случае быстро бы обогнал Стокфиш;
я утверждаю, что в этом случае АльфаЗеро скатились бы в локальный оптимум Стокфиша и играла бы хуже за счет медленной скорости, выбраться из этого оптимума не удалось бы.

Вторая ветка:
Курлемише предложил, как я его понял, вариант с поиском слабых мест в игре Стокфиша.
Я утверждаю, что эта стратегия неэффективна и нереализуема из-за скорости работы Стокфиша.

Я обобщу мною сказанное - "если АльфаЗеро тренировалась бы на Стокфише а не на себе, то быстрее научилась бы выигрывать у Стокфиша; но хуже играла бы в шахматы в общем".

Теперь только надо это как то проверить. Или спросить у ведущих специалистов в области ИИ.
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение Oleg » Пн фев 11, 2019 8:27 pm

kurlemushe, интуитивно верное высказывание, так как если ты постоянно спарингуешь только с более слабым соперником, то не сможешь от него оторваться сильно далеко по уровню игры.
Это верно не только для шахмат, но для любого вида спорта.

Но конечно, мог бы быть и вариант полного облома, когда АльфаЗеро просто не сумел бы научиться играть сильно за счет встреч с самим собой, если бы нейросеть не смогли толком настроить.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 56210
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Re: Компьютерная революция в шахматах

Сообщение Fouras » Пт фев 15, 2019 3:23 pm

Сейчас идет турнир ЛилуЗеро и Стокфиш 10
Лилу Зеро - наследник Альфазеро. Это нейросеть, но считается не на тензорных процессорах, а на видеокарте, так что без разницы. Лилу эту сеть не обучала, но получила для старта обученную сеть от Альфазеро. Там было много недоработок, но ее допилили и как я понимаю, сейчас она не хуже Альфазеро, но только не может с нуля обучить сеть. Ей и не надо.

Стокфиш получил урок от Альфазеро и сейчас побеждает Лилу. У него топовое железо: 44 ядра и все такое. Длинный контроль: 2 часа+15 сек на ход.

Стокфиш стал активно жертвовать фигуры для развития и для получения темпа. Весьма эффективно. Зажимы еще не видел, но Лилу иногда не успевает развиться, фигуры остаются на местах.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 4742
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 10
Пол: Мужской

Re: Компьютерная революция в шахматах

Сообщение kurlemushe » Пт фев 15, 2019 10:53 pm

Подожди, на сколько читал Leela тоже обучалась, типа чтоб проверить методы Альфы:
«The Leela Chess Zero project was first announced on TalkChess.com on January 9, 2018.[1][3] Within the first few months of training, Leela Chess Zero had already reached the Grandmaster level, surpassing the strength of early releases of Rybka, Stockfish, and Komodo, despite evaluating orders of magnitude fewer positions while using MCTS.

In December 2018, the AlphaZero team published a new paper in Science magazine revealing previously undisclosed details of the architecture and training parameters used for AlphaZero.[4] These changes were soon incorporated into Leela Chess Zero and increased both its and training efficiency.[5]» (с)английский вики.
Аватара пользователя
kurlemushe
Бывалый
Бывалый
 
Сообщения: 3818
Зарегистрирован: Сб янв 14, 2017 2:48 am
Откуда: Лондон на Дону
Медали: 4
Пол: Мужской
Соционический тип: Джек Лондон
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

Re: Компьютерная революция в шахматах

Сообщение Oleg » Сб фев 16, 2019 12:22 am



Декабрьский матч закончился победой Стокфиш 3.5 : 2.5
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 56210
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Пред.След.

Вернуться в Шахматный клуб

Кто сейчас на конференции

Зарегистрированные пользователи: Алексище, Exabot [Bot], Gabriela, Gabrielle, GoGo [Bot], Google [Bot], Google Adsense [Bot], Google Search Appliance, hop_op_op, Istanaro, Saneka, Sarah Connor, tort000, Yandex 3.0 [Bot], Yandex [Bot], Помазанник Божий, Валентина Воздушная, Ватсон, Мизеракль