Две новые статьи Таланова - о надежности тестов

Гипотезы, обсуждения, наблюдения, факты

Две новые статьи Таланова - о надежности тестов

Сообщение Виктор Прокофьев » Сб авг 12, 2017 10:50 am

Мы изучаем то, как ячейки модели в силу заложенных в них алгоритмов фильтруют и окрашивают передаваемую информацию.
Поэтому у нас каждый вопрос - это тема для разговора, в которой информации из первого предложения клиента мы обычно ставим самый низкий уровень НАДЕЖНОСТИ и ВАЛИДНОСТИ. Наш опыт показывает, что в первый момент человек отвечает по привычке или штампом или дает социально правильный (в его привычном опять же штампованном средой понимании) ответ.
Тесты собирают информацию именно такого ПЕРВОГО ПРЕДЛОЖЕНИЯ со всеми вытекающими из этого последствиями.
Научно-исследовательский институт соционики http://www.socionics.ru
Аватара пользователя
Виктор Прокофьев
Модератор, НИИ соционики
Модератор, НИИ соционики
 
Сообщения: 605
Зарегистрирован: Чт сен 20, 2007 9:06 pm
Откуда: Москва
Медали: 1

Re: Две новые статьи Таланова - о надежности тестов

Сообщение Виктор Прокофьев » Сб авг 12, 2017 11:00 am

Самотипирование писал(а):А какой тип Вы предположили бы по моей аватаре?

Какая цель в таком предположении? Проще: зачем мне это?
Научно-исследовательский институт соционики http://www.socionics.ru
Аватара пользователя
Виктор Прокофьев
Модератор, НИИ соционики
Модератор, НИИ соционики
 
Сообщения: 605
Зарегистрирован: Чт сен 20, 2007 9:06 pm
Откуда: Москва
Медали: 1

Re: Две новые статьи Таланова - о надежности тестов

Сообщение Самотипирование » Сб авг 12, 2017 11:30 am

Виктор Прокофьев писал(а):Какая цель в таком предположении? Проще: зачем мне это?

Действительно: я не модель, у меня даже ячеек нет - изучать нечего. :)
Виктор Прокофьев писал(а):Мы изучаем то, как ячейки модели...
Готово услужить, http://www.socioforum.su/viewtopic.php?f=717&t=68760
Аватара пользователя
Самотипирование
Участник
Участник
 
Сообщения: 87
Зарегистрирован: Пн апр 24, 2017 5:52 pm

Две новые статьи Таланова - о надежности тестов

Сообщение kanonik » Сб авг 12, 2017 2:52 pm

Виктор Григорьевич,
Вы пока что никак не ответили ни на один из двух поставленных мною в предыдущем моем посте вопроса:
- Ни о том, каким образом с помощью модели А, в которую Вы свято верите, можно объяснить содержательное наполнение признака аристократы-демократы (хотя его содержательное наполнение, притом вполне согласующееся с результатами В.Л.Таланова, вы сами получили в своем эксперименте),

- Ни о том, почему результатам (конкретным маркерам) своего эксперимента по проверке содержательного наполнения полюсов соционических демократов и аристократов вы даете столь странную обобщающую трактовку, противоречащую смыслу ваших собственных, подтвержденных вами маркеров, а также противоречащую здравому смыслу (поскольку из вашей трактовки следует, например, что все политики-либералы и все политики-анархисты должны принадлежать к аристократическому полюсу). Напомню, что это, однако, никак не вытекает из смысла маркеров этих полюсов, приведенных в таблицах 3, 4 и 6 вашей же статьи).

Но вместо ответа на эти вопросы Вы пока-что предпочли пояснить свою резко негативную позицию по поводу применения в психологии психодиагностических опросников:

Виктор Прокофьев писал(а):Мы изучаем то, как ячейки модели в силу заложенных в них алгоритмов фильтруют и окрашивают передаваемую информацию.
Поэтому у нас каждый вопрос - это тема для разговора, в которой информации из первого предложения клиента мы обычно ставим самый низкий уровень НАДЕЖНОСТИ и ВАЛИДНОСТИ. Наш опыт показывает, что в первый момент человек отвечает по привычке или штампом или дает социально правильный (в его привычном опять же штампованном средой понимании) ответ.
Тесты собирают информацию именно такого ПЕРВОГО ПРЕДЛОЖЕНИЯ со всеми вытекающими из этого последствиями.


Уже просто за это сделанное Вами прояснение ваших мотивов - СПАСИБО, хотя всё это здесь Вами написанное обязано вызвать, однако, только еще больше недоуменных вопросов к Вам:

1) Та "дежурность" либо неискренность ответов, которые гипотетически могут сказываться в ситуациях прилюдной экспертизы испытуемого, когда на него устремлены глаза многих людей, как раз менее характерны для ситуаций спокойного интроспективного анализа наедине с самим собой, которые типичны для заполнения опросников.

2) Гипотетический эффект "первого предложения", на который Вы ссылаетесь (даже если он вообще существует), может сказываться именно только на ПЕРВОМ предложении, максимум - втором. Однако любые шкалы опросников собирают ответы не от одного-двух, а от МНОЖЕСТВА близких по смыслу, но при этом далеко не тождественных вопросов, усредняя их. У В.Л.Таланова, например, - по каждой шкале больше сотни вопросов, задаваемых вразбивку на протяжении всей длины опросника, за время более часа, обращаемых при этом К САМЫМ РАЗНЫМ ЖИЗНЕННЫМ СИТУАЦИЯМ (а не к одной и той же ситуации).

3) В опросниках Таланова разный уровень социальной желательности ответов и даже разный уровень эмоциональной самооценки респондентов (с завышением или занижением своей самооценки) надежно математически корректируются, практически переставая хоть как-то влиять на окончательно обрабатываемые ответы (совсем недавно в этой же теме я подробно пояснял, как именно это делается: http://www.socioforum.su/viewtopic.php?f=4&t=69621&sid=fd1eae36413e43419db4c0eb3ba784dd#p3125313

4) Насколько шкалам опросников удается справиться с выделением именно устойчивых параметров личности (а не находящихся под ситуативным либо артефактным влиянием) - это прекрасно проверяется и контролируется с помощью математического изучения НАДЕЖНОСТИ ШКАЛ ОПРОСНИКОВ.
При этом изучаются согласованность ответов человека на разные вопросы анкеты (скоррелированные между собою по смыслу), проверяется также ретестовая надежность (при повторном тестировании по этой же анкете, либо даже по анкете с такими же шкалами, но уже совсем другими вопросами, причем спустя значительный промежуток времени). Проверяется совпадение шкальных диагнозов по двум независимым половинкам теста (так называемый метод расщепления).
Все эти методы изучения надежности имеют свои четкие количественные критерии. Один из них - так называемая Альфа Кронбаха. Все профессиональные психодиагногстические опросники проверяются в обязательном порядке этими методами. Подробнейше исследованы и проверены на все критерии надежности измерений также и социодиагностические опросники Таланова, чему посвящена статья http://sociotoday.narod.ru/nadejn1.docx . Показано, что все шкалы этих опросников, предназначенные для количественного определения любых соционических параметров (от типа и до психических функций) удовлетворяют наиболее жестким требованиям по показателям надежности, предъявляемые в науке к профессионалшьным психодиагнгостическим методикам (в частности, альфа Кронбаха >0,9). А вот Вы можете обоснованно утверждать, что альфа Кронбаха ваших диагностических методов дотягивает хотя бы до 0,7 ?

Проверена и валидность опросников Таланова - и по сходимости с самотипированием, и по совпадению чисто эмпирически выявляемого с помощью опросников содержательного наполнения свойств типов, аспектов (по Таланову- функций) и полюсов признаков с таковым же содержанием, описываемым подавляющим большинством социоников исходя из собственной наблюдательной практики. Даже ваша собственная статья о содержательном наполнении полюсов соционического аристократизма и демократизма подтвердила в точности те же самые маркеры этих полюсов, которые ранее были эмпирически получены с помощью опросников Таланова.

А вот надежность ваших экспертных методов, применяемых ныне в НИИ соционики для определения социотипов испытуемых, остается как раз непроверенной и неизвестной. Вы не предоставляете данных ни о сходимости ваших диагнозов с результатами самотипирования испытуемых, ни о сходимости ваших диагнозов с типными диагнозами каких-либо опросников (да любые бы взяли - хоть Гуленко, хоть Таланова, хоть кого-то еще!).

Если бы Вы по результатам эксперимента получили низкую сходимость своих диагностических методов с опросниками, тогда у вас было бы дальше два пути - либо согласиться с тем, что опросники точнее, либо настаивать, что ваши методы точнее, а у опросников "другая соционика". Но вы ведь в институте даже этого не удосужились сделать.
Вместо этого вы предпочитаете ЗАРАНЕЕ обвинять опросники, и отнюдь не по результатам ПРОВЕДЕННОГО вами эксперимента, но заведомо, чисто голословно и гипотетически (даже вопреки существующей общепсихологической практике), очевидно, всего лишь стараясь этим избежать в будущем самой возможности каких бы то ни было сравнений и проверок собственных методов в сопоставлении с чужими...

Это - не по-научному, сударь. Это, простите, - некрасиво.

Кстати теперь еще и о других формальных процедурах проверки надежности ваших экспертных методов на основе модели А - даже помимо сравнения их с опросниками (методов проверки надежности ведь много, надо только соблюдать их валидность). Я понимаю, что количественно измерить показатели надежности ваших методов диагностики хотя и вполне доступно и можно, но, действительно, довольно хлопотно. Но это, согласитесь, недостаточное основание для того, чтобы голословно превозносить собственные экспертные диагностические методы (надежность которых вами вообще не измерена и не проверена) над опросниковыми методами, надежность которых многократно количественно измерена, проверена и является доказанно очень высокой.

Хочу напомнить Вам также некоторые контрольные цифры, полученные не из фантазий, а из валидно проведенных математических экспериментов (часть доказательств содержится в работе http://sociotoday.narod.ru/nadejn1.docx ). Достоверность социодиагнозов типа (то есть вероятность попадания диагноза в тип, реально по свойствам наиболее близкий испытуемому) составляет для опросников Таланова недавних серий около 85% (в среднем по всему контингенту респондентов, включая и самых малограмотных). Для самотипирования этот СРЕДНИЙ ПОКАЗАТЕЛЬ ДОСТОВЕРНОСТИ СОСТАВЛЯЕТ ОКОЛО 62-65 % (тоже немало). А вот для так называемых экспертных диагнозов, получаемых по результатам собеседований экспертов с испытуемыми - это в среднем уже лишь около 40%, и даже у лучших экспертов вряд ли выше 70% (что в среднем дает межэкспертную сходимость не выше 20%).

Если Вы считаете, что ваши экспертные диагнозы намного точнее и достовернее этих чисел (что, по моим догадкам, вряд ли), то это надо доказать строго математически на основе валидных экспериментов. Одних лишь ваших голословных заявлений тут, с чисто научной точки зрения, будет мало (и это я очень мягко выразился).

А вот у опросников Таланова с экспериментальной проверкой их фактической надежности и объективной соционической валидности как раз давно все в порядке, и я выше дал ссылки.

И еще, наконец... Уже помимо новых вопросов, естественно возникших после ваших суждений об опросниках.
Виктор Григорьевич, я все-таки жду вашего ответа на ДВА РАНЕЕ ЗАДАННЫХ ВАМ КОНКРЕТНЫХ ВОПРОСА - о семантике полюсов аристократов и демократов (то есть о вашей странной ее трактовке, не вытекающей из результатов вашего собственного эксперимента) и о вашем объяснении вообще какой бы то ни было семантики этих полюсов через модель А (в которую Вы свято верите).
=========
«Если тебя лишили обязанностей гражданина, исполняй обязанности человека». (Сенека)
kanonik
Местный
Местный
 
Сообщения: 1452
Зарегистрирован: Вс авг 07, 2011 7:10 pm
Медали: 1

Две новые статьи Таланова - о надежности тестов

Сообщение Виктор Прокофьев » Сб авг 12, 2017 4:18 pm

kanonik писал(а):через модель А (в которую Вы свято верите).

Мы по ней сверяем результаты (Метод "Puzzle-технологии").
Опора на нее, позволяет говорить нам, что мы занимаемся соционикой Аушры Аугустинавичюте.
Чем занимаетесь Вы? По тому, что прочитал, оптимизацией системы обработки информации при святой вере в математику.
Я по образованию радиофизик, затем 12 лет работы экспериментальной физики, 15 лет в практической и экспериментальной соционике. Этот багаж позволяет мне иметь собственное мнение о том, что такое сигнал (в данном случае феномен типологических особенностей психики). Что такое "шум". Что такое "выделить сигнал на фоне шума". Что такое исходные данные, граничные условия, рамки действия математической модели.
Я высказал свои сомнения по поводу Ваших достижений в соционике. По поводу типологического (околосоционического подхода) ваша работа заслуживает всяческого уважения, но это, к сожалению, на мой взгляд не соционика.
Цель Вашей деятельности, на мой взгляд, вполне благородна: сделать более валидный опросник Майерс-Брикс.
Но как у него, так и у вашего теста есть один существенный недостаток: они осуществляют анализ текущего (моментного) среза психики. Делается это с помощью соционических шкал (в основном). Но на выходе оба теста не дают информацию о природных предрасположенностях. Хотя корреляция, конечно, должна быть. Только пока нет эталона, о ней бесполезно говорить и подсчитывать проценты достоверности диагностики.
Спасибо, за внимание.
Не буду больше отвлекать Вас и ваших слушателей от восхищения продвинутостью вашего матобеспечения.
Научно-исследовательский институт соционики http://www.socionics.ru
Аватара пользователя
Виктор Прокофьев
Модератор, НИИ соционики
Модератор, НИИ соционики
 
Сообщения: 605
Зарегистрирован: Чт сен 20, 2007 9:06 pm
Откуда: Москва
Медали: 1

Две новые статьи Таланова - о надежности тестов

Сообщение kanonik » Сб авг 12, 2017 4:40 pm

Виктор Прокофьев писал(а):
kanonik писал(а):через модель А (в которую Вы свято верите).

Мы по ней сверяем результаты (Метод "Puzzle-технологии").
Опора на нее, позволяет говорить нам, что мы занимаемся соционикой Аушры Аугустинавичюте.
Чем занимаетесь Вы? По тому, что прочитал, оптимизацией системы обработки информации при святой вере в математику.
Я по образованию радиофизик, затем 12 лет работы экспериментальной физики, 15 лет в практической и экспериментальной соционике. Этот багаж позволяет мне иметь собственное мнение о том, что такое сигнал (в данном случае феномен типологических особенностей психики). Что такое "шум". Что такое "выделить сигнал на фоне шума". Что такое исходные данные, граничные условия, рамки действия математической модели.
Я высказал свои сомнения по поводу Ваших достижений в соционике. По поводу типологического (околосоционического подхода) ваша работа заслуживает всяческого уважения, но это, к сожалению, на мой взгляд не соционика.
Цель Вашей деятельности, на мой взгляд, вполне благородна: сделать более валидный опросник Майерс-Брикс.
Но как у него, так и у вашего теста есть один существенный недостаток: они осуществляют анализ текущего (моментного) среза психики. Делается это с помощью соционических шкал (в основном). Но на выходе оба теста не дают информацию о природных предрасположенностях. Хотя корреляция, конечно, должна быть. Только пока нет эталона, о ней бесполезно говорить и подсчитывать проценты достоверности диагностики.
Спасибо, за внимание.
Не буду больше отвлекать Вас и ваших слушателей от восхищения продвинутостью вашего матобеспечения.


Виктор Григорьевич Прокофьев выступил с очередным заявлением в стиле "вокруг да около" - вместо предполагаемых форматом дискуссии ответов на конкретные поставленные вопросы. Важные вопросы, которые могли бы и прояснить научную суть расхождений (если она действительно есть), и пролить свет на методологическую обоснованность работ самого НИИ соционики.

Жаль.
Но очень характерно и показательно.


===========
Для тех, кто не в теме, поясню смысл ранее обращенного к Прокофьеву вопроса, как он с позиций модели А берется объяснить полученные им же самим результаты по содержательному наполнению различных психологических свойств соционических "демократов" и "аристократов". Дело в том, что модель А не допускает вообще никакого объяснения для содержательного наполнения полюсов этого признака. :D Обычно, столкнувшись с подобным обстоятельством по итогам эксперимента, ученые стараются пересмотреть и во всяком случае расширить ту теоретическую модель, которой они пользуются для объяснения наблюдаемых явлений. Но это, как мы видим - не про В.Прокофьева сказано, и не про НИИ соционики.

Скорее уж, подозреваю, они станут добиваться АДМИНИСТРАТИВНОГО ЗАПРЕТА для всех ученых, которые не разделяют их внешне декларируемой стопроцентной веры в незыблемость догм модели А, именоваться впредь социониками (притом насколько искренна в НИИ соционики вера в модель А, или же как и в американском типоведении верность догмам продиктована коммерческими соображениями - я теперь, после ухода собеседника от научных вопросов по существу модели, даже и не знаю). :D

Поверьте, я очень хочу и надеюсь в этих допущениях и предположениях ошибиться, чтобы потом извиниться! Надеюсь.

Однако, "такие времена". :)
=========
«Если тебя лишили обязанностей гражданина, исполняй обязанности человека». (Сенека)
kanonik
Местный
Местный
 
Сообщения: 1452
Зарегистрирован: Вс авг 07, 2011 7:10 pm
Медали: 1

Re: Две новые статьи Таланова - о надежности тестов

Сообщение hizhnjak » Вс авг 13, 2017 3:31 pm

Уровень критики Таланова со стороны информационистов удручает. Понятно, что парадигмы разные, но какое-то подобие интеллектуальной дискуссии ведь можно вести?

Вопрос про выведение семантики признака "элитаризм/эгалитаризм" из функций и модели А -- не в бровь, а в глаз. Аушра сказала, что этот признак есть, даже его базовую семантику дала, значит он входит в "истинную соционику". При этом она не дала однозначного ответа на вопрос о причинах взаимосвязи этого признака и информационного метаболизма. Аушре простительно, она чистым информационистом никогда не была (легко соотносила соционические типы и акцентуации характеров из психиатрических типологий), а вот её последователям следовало бы этот пробел в своей теории закрыть.

Лично я считаю, что спорить с Талановым с информационных позиций на самом деле можно. Для этого достаточно прочитать пару книжек по психосемантике, усвоить методы семантического дифференциала и репертуарных решёток Келли, адаптировать их к соционике и показать, что при субъективном шкалировании информации люди действительно опираются на соционические категории. Я уже приводил на этом форуме цитаты из психосемантических работ, которые дают основание верить в успешность подобного эксперимента.

Результаты СД можно было бы сравнить с результатами опросников Таланова и уже после этого спорить какой из типов является по-настоящему соционическим.

Почему это до сих пор не сделано информационистами -- ума не приложу. СД -- очень хороший метод, всяко лучший (в том числе и для математического обсчёта), чем проективные методики. От субъективизма исследователей он зависит только на этапе закладывания шкал, но не на этапе проведения эксперимента. Погуглите хотя бы что это за метод, в Википедию загляните, а то когда я о нём в прошлый раз здесь заикнулся меня кто в сарказме заподозрил, кто околесицу начал нести про машинный анализ текста, хотя то, что я предлагаю, намного проще и не требует больших затрат и усилий.
hizhnjak
Школа гуманитарной соционики
Школа гуманитарной соционики
 
Сообщения: 121
Зарегистрирован: Вт апр 30, 2013 10:41 am
Медали: 3
Пол: Мужской
Соционический тип: Робеспьер
Темперамент: Флегматик

Пред.

Вернуться в Соционика

Кто сейчас на конференции

Зарегистрированные пользователи: Алексище, CopyMachine, Скорпион_под_шубой, Син, DeepShadow, Евгений Болдырев, Gabriela, GoGo [Bot], Google [Bot], Google Adsense [Bot], Google Search Appliance, Istanaro, Joker, Kарина, Kroшka, kurlemushe, Kuvaldos, Mimozzka, MrsShadow!, Parf, Грим, sng, Start_error, vadimr, Yandex 3.0 [Bot], Yandex [Bot], Кентавр-на-Пегасе, Варшава, Дашуська, Дежавю, на лошади весёлой, Чебурек