Анкета + Эссе. Создаем правила перекрестного конкурса

Эксперимент "Типирование по текстам"

Голосуют форумчане, которые еще думают и надумали.

0. Хочу посмотреть результаты голосовалки.
8
5%
1. Если я буду экспертом, то выдам 1 версию.
2
1%
2. Если я буду экспертом, то выдам 1-2 версии.
7
5%
3. Если я буду экспертом, то выдам 1-2-3 версии.
7
5%
4. Если я буду экспертом, то выдам 1-2-3-4 версии.
6
4%
5. Готов как эксперт анализировать анкеты сгрупированные в блоки по одинаковым аспектам.
8
5%
6. Готов как эксперт анализировать анкеты с аспектно перемешанными для Чебурашки вопросами.
11
7%
7. Как Чебурашка готов отвечать на вопросы в виде блоков с одинаковыми аспектами.
8
5%
8. Как Чебурашка готов отвечать на вопросы перемешанные по разным аспектам.
21
14%
9. Укажу ориентировочно уверенность в % для своих нескольких версий при типировании (если буду экспертом).
14
9%
10. НЕ буду указывать уверенность в % для своих нескольких версий (они будут равноправны).
4
3%
11. Если я (буду/есть) Чебурашка, то пришлю свои ~15 фото нужного вида и качества.
1
1%
12. Если я (буду/есть) Чебурашка, то НЕ ПОКАЖУ своё лицо. Хочу иные экспертные методики.
19
12%
13. Я хочу анкету "Ситуации с мыслями" (с обоснованием поступков и мыслей Чебурашки).
16
10%
14. Я НЕ хочу анкету "Ситуации с мыслями" .
3
2%
15. Если буду экспертом, то хочу, чтобы сначала опубликовали в начале темы все 20 анкет (эссе, фото). А экспертам дали много времени для анализа (10-30 дней). Тур заканчивается если минимум 20 экспертов выдадут свои версии по всем опубликованным чебурашкам. Эксперты могут подключиться на любом этапе пока конкурс не окончен.
11
7%
16. Если буду экспертом, то хочу, чтобы анкету (эссе, фото) каждого чебурашки публиковать по очереди и ограничивать сроком выдачи версий по несколько дней. Опоздавший к началу конкурса эксперт оттипирует меньше анкет (эссе, фото).
2
1%
17. Если буду экспертом, то хочу ответы на анкеты с окончаниями СРЕДНЕГО рода.
0
Голосов нет
18. Если буду экспертом, то хочу ответы на анкеты с окончаниями МУЖСКОГО рода.
6
4%
19. Резерв.
0
Голосов нет
20. Резерв (в резервах не голосовать)!
1
1%
 
Всего голосов : 155

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Гена » Пт янв 30, 2015 2:37 am

Prob-Irka писал(а):А энтропию Гена учитывал. Косвенно через случайную генерацию имени Куллера. Я так его идею поняла.

Не. Генерация имени Кулера - это имитационный тест, который берет целостный набор версий типировщика, и кладет его на таблицу соответствие материалов случайным образом много раз. Интегрально оценивая всевозможные расклады, от самых неудачных (ни одного совпадения) до самых удачных (все совпало).
Получается распределение исходов, по количеству "успехов". Каждому успеху соотвествует своя "Экв. доля совпадений". Чего я добивал вчера-сегодня и добился - это того, что интеграл "Экв. доли совпадений" по этим распределениям исходов был инвариантным отн. целостных наборов версий разных типировщиков - как тех, у кого 16 типов равномерно, так и тех, у кого 90% одного типа.
Удалось добиться этой инвариантности путем исключения из учета заведомо совпадающих версий. Но вот сижу сейчас ломаю голову, как в базе денных это запрограммировать. Хоть заново всю систему запросов делай. И непонятно, ради чего, поскольку в данном конкурсе эта поправка касается только моих результатов. Больше ни у кого нет такого превышения.

Ждать нужно пока Гена сам все не пояснит подробно.


Видимо. сейчас буду совмещать программирование с описанием. Иначе не идет что-то. :)
Аватара пользователя
Гена
Гуру
Гуру
 
Сообщения: 10865
Зарегистрирован: Ср дек 13, 2006 12:18 am
Откуда: Из мультфильма
Медали: 5
Пол: Мужской
Соционический тип: Дон Кихот

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Пт янв 30, 2015 2:41 am

Гена писал(а):
cooler462 писал(а):я Пробирке в ЛС отписался чтоб не торопилась сюда заходить

Не думать о белой обезьяне? Ее любопытство непременно пересилит.

Мое любопытство мою волю Не пересилило.
Я не заглядывала в темы .
Мне важнее было честно отыграться и попасть в серединку чебурашек.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Пт янв 30, 2015 2:46 am

Гена
Делай как положено на будущее.
Пусть только тебя касается.
В твою граничную область можешь и меня включить (отсечь), я тоже только 7 тимов использовала. И то среди них мерещились не все тимы равномерно.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Гена » Пт янв 30, 2015 3:31 am

Prob-Irka писал(а):Гена
Делай как положено на будущее.

Будущее - штука неожиданная. ;)

Уже страницы написал. Это только начало, процентов 20, от силы.
Пусть только тебя касается.
В твою граничную область можешь и меня включить (отсечь), я тоже только 7 тимов использовала. И то среди них мерещились не все тимы равномерно.

Не, ты туда никак не попадаешь.
Аватара пользователя
Гена
Гуру
Гуру
 
Сообщения: 10865
Зарегистрирован: Ср дек 13, 2006 12:18 am
Откуда: Из мультфильма
Медали: 5
Пол: Мужской
Соционический тип: Дон Кихот

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Marat » Пт янв 30, 2015 10:53 am

Prob-Irka писал(а):Marat
Самое простое посчитать сходимость не в процентах так:

1-я с 1-й = 5*5=25 баллов
1-я со 2-й = 5*4=20 баллов
2-я со 2-й = 4*4 =16 баллов
1-я с 3-й = 5*3 =15 баллов
2-я с 3-й = 4*3=12 баллов
3-я с 3-й = 3*3=9 баллов
Остальное нуль баллов.

Можно все отнормировать

да-да, можно так. Можно и не нормировать. Или нормировать поделив на 10.
При этом всё получается наглядно, каждый участник знает сколько баллов ему положено за его совпадение и будет меньше непоняток.
Эти баллы не будут мешать делать расчёты, они будут только для подведения итогов и распределения мест.
Аватара пользователя
Marat
Гуру
Гуру
 
Сообщения: 16719
Зарегистрирован: Ср янв 11, 2012 9:18 am
Откуда: Казань
Медали: 14
Пол: Мужской
Тип по психе-йоге: Сократ (ВЛЭФ)
Профессия: Художник

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Пт янв 30, 2015 7:51 pm

Marat писал(а):
Prob-Irka писал(а):Marat
Самое простое посчитать сходимость не в процентах так:

1-я с 1-й = 5*5=25 баллов
1-я со 2-й = 5*4=20 баллов
2-я со 2-й = 4*4 =16 баллов
1-я с 3-й = 5*3 =15 баллов
2-я с 3-й = 4*3=12 баллов
3-я с 3-й = 3*3=9 баллов
Остальное нуль баллов.

Можно все отнормировать

да-да, можно так. Можно и не нор

мировать. Или нормировать поделив на 10.
При этом всё получается наглядно, каждый участник знает сколько баллов ему положено за его совпадение и будет меньше непоняток.
Эти баллы не будут мешать делать расчёты, они будут только для подведения итогов и распределения мест.

В этом способе есть ДВА огромных "НО".

1.
ВСЕ веса (уверенность) версий для всех экспертов одинаковые. А эксперты веса раздают разные. Мы это видели. Например, Куллер сторонник одной версии. Гена тоже... Разный опыт типирования и уверенности у всех экспертов расширяет круг участников.

2.
Не показывает реальных %% сходимости, тк сходимость резко занижена из за большого числа версий для всех экспертов. А поавильно посчитанные проценты нужны, чтобы можно их было сравнивать в разных экспериментах.
Дойти до 50% сходимости (до уровня сходимости например в твоих тестах) можно только с одной версией.

Но даже с одной выдаваемой версией можно иметь 10% сходимости как у Куллера ( и тебя , ты сколько писал версий? Я не следила)
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение cooler462 » Пт янв 30, 2015 8:12 pm

на крайняк каждому эксперту можно давать версии, как ему удобно. хоть в процентах, хоть по три версии по системе Марата, хоть по одной версии. не удастся привести к общему знаменателю результаты? ну и что, зато эксперты довольны. а конкурс, как предлагает Гена, будет лишен пиписькомеряния: не будет награждения медальками, т.к. это будет эксперимент, а не конкурс. или все же фаллометрия компаративная нужна? она привлекает часть типировщиков участвующих ради наград и другим тоже добавляет мотивации.
Аватара пользователя
cooler462
Старожил
Старожил
 
Сообщения: 7564
Зарегистрирован: Вт мар 20, 2012 11:28 pm
Медали: 4
Пол: Мужской

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение feres » Пт янв 30, 2015 10:13 pm

А может использовать и то, и другое? Для выбора победителя будет применяться бальная система. Но эксперты пусть также дают свои веса версий в %, которые и будут использоваться для учета реальных %% сходимости, сравнения в разных экспериментах и т.д.
Eadem mutata resurgo
Аватара пользователя
feres
Активист
Активист
 
Сообщения: 367
Зарегистрирован: Ср сен 18, 2013 12:15 am
Медали: 2
Пол: Женский

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Пт янв 30, 2015 11:37 pm

cooler462 писал(а):на крайняк каждому эксперту можно давать версии, как ему удобно. хоть в процентах, хоть по три версии по системе Марата, хоть по одной версии. не удастся привести к общему знаменателю результаты? ну и что, зато эксперты довольны. а конкурс, как предлагает Гена, будет лишен пиписькомеряния: не будет награждения медальками, т.к. это будет эксперимент, а не конкурс. или все же фаллометрия компаративная нужна? она привлекает часть типировщиков участвующих ради наград и другим тоже добавляет мотивации.


Переумножение весов как раз и дает этот общий знаменатель.
Хоть одна версия совпала (1*1=1) хоть обе две версии совпадут сразу , каждая с уверенностью 50% (0.5*0.5+0.5*0.5=0.5),
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Marat » Пт янв 30, 2015 11:49 pm

Prob-Irka писал(а):Хоть одна версия совпала (1*1=1) хоть обе две версии совпадут сразу , каждая с уверенностью 50% (0.5*0.5+0.5*0.5=0.5),

не-не-не! Учитывается только наибольшее совпадение.
1. есь
2. дюм
3. гюг
+
1.есь
2. дюм
3. гюг
= одно совпадение, 25 баллов.

нужно обязать всех присылать три версии, ибо всегда есть "возможные, но не рассматриваемые" версии ТИМов, и для общей картины их необходимо знать.
Аватара пользователя
Marat
Гуру
Гуру
 
Сообщения: 16719
Зарегистрирован: Ср янв 11, 2012 9:18 am
Откуда: Казань
Медали: 14
Пол: Мужской
Тип по психе-йоге: Сократ (ВЛЭФ)
Профессия: Художник

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Пт янв 30, 2015 11:56 pm

feres писал(а):А может использовать и то, и другое? Для выбора победителя будет применяться бальная система. Но эксперты пусть также дают свои веса версий в %, которые и будут использоваться для учета реальных %% сходимости, сравнения в разных экспериментах и т.д.

Если в правила забить условие, что каждый обязан любое число версий распределить 10 баллов, то все будет просто.
Универсально.

Вариант 1:
4+3+2+1=10
ЖЖЖЖ
ЖЖЖ
ЖЖ
Ж

Вариант 2
5+3+2=10
ЖЖЖЖЖ
ЖЖЖ
ЖЖ

Вариант 3
6+3+1=10
ЖЖЖЖЖЖ
ЖЖЖ
Ж

60%+30%+10%

Последний вариант мне нравится особенно. Первая версия в два раза больше второй, а третья в 3 раза меньше второй.
Более крутой спуск версий (очень близко к конкурсам с единственной версией).


При совпадении всех трех версий:
0.6*0.6+0.3*0.3+0.1*0.1 = 0.36+0.09+0.01 = 0.46 (46%) это возможный максимум сходимости с тремя версиями.


Вариант 4:
70%+20%+10%=100%
Можно и выше максимальную сходимость сделать:
0.7*0.7+0.2*0.2+0.1*0.1 = 0.49+0.04+0.01 = 0.54 (54%)
Чтобы довести ее до лучших показателей сходимостей с самотипированием в тестах.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Сб янв 31, 2015 12:07 am

Marat писал(а):
Prob-Irka писал(а):Хоть одна версия совпала (1*1=1) хоть обе две версии совпадут сразу , каждая с уверенностью 50% (0.5*0.5+0.5*0.5=0.5),

не-не-не! Учитывается только наибольшее совпадение.
1. есь
2. дюм
3. гюг
+
1.есь
2. дюм
3. гюг
= одно совпадение, 25 баллов.

нужно обязать всех присылать три версии, ибо всегда есть "возможные, но не рассматриваемые" версии ТИМов, и для общей картины их необходимо знать.



В этом случае по Варианту 3 получится сходимость = 46%
Пусть постепенно привыкают к реальным процентам.

Если же совпадет только первая версия из трех (по раскладке #3), то сходимость будет = 0.6*0.6=36%

При обязательных трех (двух или четырех) версиях удобно кпждого эксперта сравнивать с каждым.

Две версии -- оптимальный компромисс числа версий.
Ветерок предлагала ограничится двумя версиями.
Кстати удобно и прозрачнее (в глазах не мельтешат) как при трех.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Мэйпл » Сб янв 31, 2015 2:05 am

Prob-Irka писал(а):Если в правила забить условие, что каждый обязан любое число версий распределить 10 баллов, то все будет просто.

А зачем?
От добра добра не ищут. А то что предложил Марат уже предельно прозрачно и просто. ''Улучшать'' эту проверенную систему - только портить ее :)
Вот правильно выше сказали, что баллы баллами, но для выявления гениев можно дополнительно использовать и степень уверенности. Но только для этого! Не для рейтинга и сходимости.
например:
дюм 80%
гюг 10
гам 10
Тот, кот будет заявлять первой версией высокий процент, и ей же попадать, по второй системе подсчета попадет высоко на первое место, с большим отрывом, и получит заслуженные лавры, если действительно способен видеть с лёту. Если же проценты кто-то не указывает, вроде меня, то или автоматически считается 33, или только как баллы за порядок перечисления, в общий рейтинг.
Мэйпл
Гуру
Гуру
 
Сообщения: 15492
Зарегистрирован: Вт авг 23, 2011 6:33 pm
Медали: 10
Пол: Женский

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Мэйпл » Сб янв 31, 2015 2:10 am

Marat писал(а):
Prob-Irka писал(а):Хоть одна версия совпала (1*1=1) хоть обе две версии совпадут сразу , каждая с уверенностью 50% (0.5*0.5+0.5*0.5=0.5),

не-не-не! Учитывается только наибольшее совпадение.
1. есь
2. дюм
3. гюг
+
1.есь
2. дюм
3. гюг
= одно совпадение, 25 баллов.


Тогда не отличим двух участников, один из которых прислал есь дюм, гюг -есь, дюм, гюг,
а второй есь, гек, гам- есь, драй, макс
У одного тотальное совпадение, у второго пересечение из разных опер))
Я бы считала все совпадения. Можно сказать, что тотальные совпадения показывают умение видеть типы с т.н.подтипом: например, дюмовидный есь или гековидный)))
Мэйпл
Гуру
Гуру
 
Сообщения: 15492
Зарегистрирован: Вт авг 23, 2011 6:33 pm
Медали: 10
Пол: Женский

Анкета + Эссе. Создаем правила перекрестного конкурса

Сообщение Prob-Irka » Сб янв 31, 2015 2:15 am

Мэйпл
Если делать как ты по 33% за версию или по 100% за одну версию, то все равно будет в среднем одинаковвй процент сходимости у всех.
Смотри итоговый график рейтинга составленного для конкурса Геной. Он именно эту систему и использовал.
Но её то и не принял народ, имеющий сходимость 7-10%

Скорее всего ты не поняла цифр, что я Марату написала.
Аватара пользователя
Prob-Irka
Модератор
Модератор
 
Сообщения: 9954
Зарегистрирован: Вт апр 10, 2012 10:18 pm
Медали: 13

Пред.След.

Вернуться в Эксперимент - тексты

Кто сейчас на конференции

Зарегистрированные пользователи: cooler462, GoGo [Bot], Google [Bot], Yandex 3.0 [Bot], Yandex [Bot], Zevs, на лошади весёлой