Конкурс-эксперимент (2019г) типирования по текстам

Эксперимент "Типирование по текстам"

Что делать, если в рейтинге два рассказа получили равное число баллов?

Опрос закончился Ср дек 25, 2019 8:04 pm

Считать, что эти рассказы заняли 2 соседних места одновременно
1
13%
Считать, что эти рассказы заняли одно место
5
63%
Я Парф или Вафля и хочу посмотреть результат
2
25%
 
Всего голосов : 8

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Сб янв 04, 2020 3:28 pm

Пора подводить итоги эксперимента. Некоторые предварительные замечания.

1. Вынужден разочаровать поклонников нейросетей: результаты типировщика Lost TIM (как и типировщика Фрик) несколько завышены - поэтому я и не спешу ими хвастаться. Дело в том, что некоторые авторы, участвующие в нашем конкурсе, входили в обучающую выборку. А именно: Parf, luftwaffe, Erika A, Eva_forever, Alpha Noir, Solaria.

Конечно, в обучающей выборке были другие тексты авторов, не участвующие в конкурсе. В этом смысле, всё честно: все участники конкурса, включая нейросеть, были равноправны и имели одну и ту же информацию. Но вполне возможно, что Лостик вместо того, чтобы типировать авторов текстов, просто пытался угадать, кто написал тот или иной текст. А определение автора по тексту у нейросетей получается намного лучше, чем типирование. Мы не можем спросить его об этом - нейросеть не раскрывает, какими соображениями она руководствовалась. Правда, и типировщики-люди могут бессознательно заниматься угадыванием авторов или думать в духе: "этот текст похож на стилю на Эрику, а она ИЭИ, значит, и этот текст, наверно, написал ИЭИ" (формально это не является угадыванием автора, но результат по сути не отличается!). Но, по крайней мере, случаи, когда типировщики признавались в попытках угадать автора, я из статистики удалил.

Чтобы результаты эксперимента были более объективными, типирования Лостиком и Фриком текстов авторов Parf, luftwaffe, Erika A, Eva_forever, Alpha Noir, Solaria я из статистики тоже удалю.

2. Текст Never-ever "О морали", судя по некоторым замечаниям автора, может содержать отыгрывание ТИМа (базового БЭ). Поэтому я удалю его из статистики эксперимента.

3. Оказывается, "Исса" и "Время зимы" тоже написаны авторами до знакомства с соционикой. Таким образом, всего у нас оказалось 13 текстов от авторов-неофитов и 62 текста от авторов, знающих соционику. Сходимость я буду проверять по всем текстам вместе, а потом проверю, есть ли существенная разница между первыми и вторыми.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Сб янв 04, 2020 3:50 pm

Средняя сходимость с самотипированием по всем текстам - 12,9%. Доверительный интервал для средней сходимости: [11,6%; 14,1%]. Это существенно выше случайной сходимости, которая даже с учётом неравеномерности распределения ТИМов составляет 9,2%. Впрочем, и невооружённым глазом видно, что лучшие типировщики, которые действительно хорошо типируют, имеют среднюю сходимость порядка 19-20%, что, конечно, невозможно объяснить случайным угадыванием.

Тем самым, подтверждается главный итог предыдущего эксперимента типирования по текстам - сама возможность такого типирования. В отличие от предыдущего эксперимента, здесь даже не понадобилось отделять хороших типировщиков от плохих, чтобы уменьшить случайный шум - типируемость текстов видна, даже если взять среднее по всем типировщикам (но по хорошим типировщикам результат будет ещё более ярко выражен).
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Сб янв 04, 2020 3:56 pm

Да, сходимость низкая, но, кстати, она всего на 1% ниже, чем при типировании по диафорам (а у лучших типировщиков - даже чуть выше!). А ведь тут речь идёт о художественных текстах! Думаю, сходимость по анкетам была бы намного выше - особенно, если взять не одну анкету для типирования, а много.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Esti » Вс янв 05, 2020 12:00 am

Теперь я точно знаю, что моя установка работает.


Never-ever,

А что за установка - лазерная? :D
Эзотерическая поддержка
"Лишь качество чьих-либо убеждений определяет успех, а не число последователей". ГП
Аватара пользователя
Esti
Старожил
Старожил
 
Сообщения: 5371
Зарегистрирован: Сб сен 24, 2011 2:53 am
Откуда: Вечность
Медали: 4
Профессия: квантовый рунолог

Конкурс-эксперимент типирования по текстам

Сообщение Esti » Вс янв 05, 2020 5:40 pm

Парф,

А по моим формулировкам что-либо обнаружилось интересное?
Эзотерическая поддержка
"Лишь качество чьих-либо убеждений определяет успех, а не число последователей". ГП
Аватара пользователя
Esti
Старожил
Старожил
 
Сообщения: 5371
Зарегистрирован: Сб сен 24, 2011 2:53 am
Откуда: Вечность
Медали: 4
Профессия: квантовый рунолог

Конкурс-эксперимент типирования по текстам

Сообщение Зимбабве » Пн янв 06, 2020 12:27 pm

Средняя сходимость с самотипированием по всем текстам - 12,9%. Доверительный интервал для средней сходимости: [11,6%; 14,1%]. Это существенно выше случайной сходимости, которая даже с учётом неравеномерности распределения ТИМов составляет 9,2%. Впрочем, и невооружённым глазом видно, что лучшие типировщики, которые действительно хорошо типируют, имеют среднюю сходимость порядка 19-20%, что, конечно, невозможно объяснить случайным угадыванием.

Тем самым, подтверждается главный итог предыдущего эксперимента типирования по текстам - сама возможность такого типирования. В отличие от предыдущего эксперимента, здесь даже не понадобилось отделять хороших типировщиков от плохих, чтобы уменьшить случайный шум - типируемость текстов видна, даже если взять среднее по всем типировщикам (но по хорошим типировщикам результат будет ещё более ярко выражен).


А когда самосходимости будут посчитаны?
Аватара пользователя
Зимбабве
Супермодератор
Супермодератор
 
Сообщения: 24595
Зарегистрирован: Пн окт 09, 2017 8:58 am
Медали: 8
Пол: Женский
Тип по психе-йоге: Гёте (ФВЛЭ)
Профессия: землемер

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Пн янв 06, 2020 1:00 pm

Наверно, когда у Агаты закончится сессия.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Ср янв 08, 2020 10:39 am

Итак, есть связь между заявленными ТИМами авторов и их проявлением в текстах, которое может быть определено типировщиками. Но возникает вопрос: не связана ли она с отыгрыванием ТИМов? Чтобы это проверить, я отдельно рассмотрел тексты авторов, не знающих соционику или не знавших её в момент написания, которые в принципе не могут ничего отыгрывать, и отдельно - тексты авторов, знающих соционику.

Всего в статистике учтено 13 текстов неофитов и 62 текста прошаренных авторов. Неофитов протипировали 157 раз, прошаренных - 724 раза.

А теперь самое удивительное: средняя сходимость с самотипированием по текстам неофитов выше, чем по текстам прошаренных авторов: 14,5% у неофитов против 12,4% у прошаренных. Правда, эта разница не является статистически значимой - 1,26 сигм - хотя и довольно велика. Можно её объяснить, например, тем, что авторы, знающие соционику, в целом старше и опытнее и умеют использовать более равномерно все аспекты, включая слабые, поэтому их сложнее протипировать. А вот сходимость только по неофитам статистически значима, то есть заметно выше случайной.

В любом случае, гипотеза об отыгрывании ТИМов авторами, знающими соционику, не подтвердилась: знание соционики не увеличивает типируемость текстов или даже уменьшает её. Значит, типировщики обнаруживают в текстах реальные свойства характера автора, связанные с ТИМом.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Ср янв 08, 2020 11:31 am

Интересная статья про кризис воспроизводимости в науке. В химии исследователи не могут воспроизвести 60% собственных экспериментов, в физике - 50%, а в психологии ситуация ещё печальнее (насколько я помню, 64% невоспроизводимых экспериментов). Скорее всего, эти эксперименты дали ложные результаты, иначе бы они успешно воспроизводились. Но они уже опубликованы в рецензируемых журналах, признаны учёными, на них ссылаются другие статьи. То есть вал ошибок только растёт!

Причин тут много. Прежде всего - число научных публикаций растёт в геометрической прогрессии из-за общественного и государственного давления на учёных, от которых требуют всё новых публикаций. Но число реальных научных открытий не может расти с такой же скоростью - скорее, оно даже убывает из-за кризиса в науке. Вот учёные и вынуждены гнать шлак.

Соционику многие критикуют - и я в том числе - за отсутствие нормальных экспериментов: то, что соционики называют "экспериментами", чаще всего поставлено с кучей методических ошибок и их невозможно воспроизвести. Но это проблема не только соционики! В психологии вообще ситуация печальна.

А мы, между прочим, сейчас занимаемся воспроизведением результатов эксперимента типирования по текстам, который прошёл 2 года назад! Так что у нас исследования по самым высоким научным стандартам. Не потом, что мы такие крутые, а потому что в современной науке со стандартами беда. )
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Зимбабве » Ср янв 08, 2020 11:38 am

А мы, между прочим, сейчас занимаемся воспроизведением результатов эксперимента типирования по текстам, который прошёл 2 года назад! Так что у нас исследования по самым высоким научным стандартам. Не потом, что мы такие крутые, а потому что в современной науке со стандартами беда. )


Парф!

А много рассказов было убрано из прошлого эксперимента?
Аватара пользователя
Зимбабве
Супермодератор
Супермодератор
 
Сообщения: 24595
Зарегистрирован: Пн окт 09, 2017 8:58 am
Медали: 8
Пол: Женский
Тип по психе-йоге: Гёте (ФВЛЭ)
Профессия: землемер

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Ср янв 08, 2020 11:46 am

Зимбабве писал(а):
А мы, между прочим, сейчас занимаемся воспроизведением результатов эксперимента типирования по текстам, который прошёл 2 года назад! Так что у нас исследования по самым высоким научным стандартам. Не потом, что мы такие крутые, а потому что в современной науке со стандартами беда. )


Парф!

А много рассказов было убрано из прошлого эксперимента?


Из статистики эксперимента я в прошлый раз убрал рассказы Ивки, Грим и Мимоззки (всего 10 текстов), поскольку Ивка призналась, что отыгрывала чужие ТИМы, а Грим и Мимоззка - свои ТИМы. То есть влияние было разнонаправленное: у Ивки в сторону уменьшения сходимости, а у Грим и Мимоззки - в сторону увеличения. Впрочем, результат от исключения текстов изменился не сильно.

В данном случае, интересны результаты неофитов, которые в принципе ничего отыгрывать не могли, даже бессознательно. Правда, Влад мне злорадно заявил:

Протипировался, но ета всё не правда ахах, вот я такой текст скину и думаю никто не просечет, что я этик


Но я думаю, он сам не понимает, чем этики отличаются от логиков, поэтому обмануть типировщиков не мог.)
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Зимбабве » Ср янв 08, 2020 11:48 am

Из статистики эксперимента я в прошлый раз убрал рассказы Ивки, Грим и Мимоззки (всего 10 текстов), поскольку Ивка призналась, что отыгрывала чужие ТИМы, а Грим и Мимоззка - свои ТИМы. То есть влияние было разнонаправленное: у Ивки в сторону уменьшения сходимости, а у Грим и Мимоззки - в сторону увеличения. Впрочем, результат от исключения текстов изменился не сильно.


Что-то интересно стало. А можешь результаты в личку кинуть? :I10
Аватара пользователя
Зимбабве
Супермодератор
Супермодератор
 
Сообщения: 24595
Зарегистрирован: Пн окт 09, 2017 8:58 am
Медали: 8
Пол: Женский
Тип по психе-йоге: Гёте (ФВЛЭ)
Профессия: землемер

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Ср янв 08, 2020 12:03 pm

Зачем в личку? Всё же опубликовано в прошлом эксперименте, я и таблицы какие-то выкладывал. Если не все выложил, могу оставшиеся выложить. Вот позапрошлогодняя табличка сходимостей.
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Буран » Ср янв 08, 2020 12:07 pm

Ну, и по вопросу о лучшем привлекателе неофитов. Таковы оказалось всего 4: Parf (привлёк Влада - 1 текст), luftwaffe (привлекла Phnx - 3 текста, хотя тут вопрос, можно ли это считать привлечением неофита), Alpha Noir (привлёк Викторию - 3 текста) и Вместо письма (привлекла Арманжана - 1 текст). Суммы средних баллов сходимости по этим текстам таковы:

Parf: 8,1
luftwaffe: 32,0
Alpha Noir: 50,7
Вместо письма: 19,0

Таким образом, в номинации "Привлечение неофитов в конкурс" побеждает Alpha Noir!
Аватара пользователя
Буран
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 33333
Зарегистрирован: Чт сен 03, 2015 5:29 pm
Медали: 15
Пол: Мужской
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Профессия: проповедник неокосмизма

Конкурс-эксперимент типирования по текстам

Сообщение Кора_дуба » Ср янв 08, 2020 1:18 pm

Parf
его бы пересчитать не помешало... сходимость могла смениться, некоторые же перетипировались с тех пор))
Я про старый конкурс, все поняли, да.
не самая приятная личность, но с самыми добрыми намерениями
Аватара пользователя
Кора_дуба
Активист
Активист
 
Сообщения: 452
Зарегистрирован: Вт июн 06, 2017 12:33 am
Медали: 2
Пол: Женский
Соционический тип: Джек Лондон
Профессия: Ворчливый дед

Пред.След.

Вернуться в Эксперимент - тексты

Кто сейчас на конференции

Зарегистрированные пользователи: GoGo [Bot], Google [Bot], Yandex 3.0 [Bot], Yandex [Bot]