Содержательная валидность - данный вид валидности иллюстрирует уровень репрезентативности содержания заданий теста области психических свойств, которую он измеряет. В рамках разработки опросника «Уровень завершенности супружеского развода» работа над проверкой содержательной валидности проводилась в два этапа, описанных в параграфе «Разработка структуры (основных шкал) опросника «Уровень завершенности супружеского развода в семье с ребенком»» данной работы.
Сюда же относится исследование дискриминативности вопросов, проверка которых происходит методом статистической обработки посредством корреляции каждого задания как суммарным баллом всего опросника, так и с суммарным баллом шкалы, к которой эти задания относятся. Вопросы, показавшие низкий уровень корреляции (>0,2) как одного, так и другого вида, требуют наиболее тщательной проработки. Можно выделить три наиболее распространенных причины появления низкодискриминативных заданий:
· Неточная формулировка задания - респонденту не ясна суть вопроса (или ответов) сформулированных в задании
· Большое количество ответов на заданный вопрос - согласно опыту ряда
исследователей разработки психодиагностических средств, наиболее оптимальным количеством ответов, предлагаемых для выбора, не должно превышать четыре варианта. Вопросы, содержащие более четырех вариантов ответа считаются наиболее подверженными риску оказаться низкодискриминативными, поскольку поливариантность близких по смыслу ответов может запутать респондента. Присутствие таких вопросов в нашем опроснике мы объясняем сложностью изучаемого феномена - требуется не только выявить присутствие завершенности развода, но и отделить его от признаков незавершенного развода. А это усложняется многокомпонентной составляющей феномена - его поведенческие проявления могут выглядеть совершенно по-разному. Например, низкий уровень достигнутой нейтральности в отношении к бывшему партеру может выражаться и в разрыве отношений, и в негативных оценках бывшего супруга, так и в особой неприязни к бывшему партнеру, которая может быть скрытой или открытой. Эту многогранность мы стремились отразить в опроснике, и она определяет «расширенную» вариабельность ответов. Вместе с тем, мы учитывали данное требование и дорабатывали сокращение опросника.
· Эффект «социальной желательности» - установка на социально одобряемые ответы- ситуация, в которой респонденты склонны выбирать тот ответ на вопрос, который будет более социально приемлем, показывать заполняющего в более выгодном свете. Для снижения вероятности возникновения данного явления в опросники вводится так называемая «шкала лжи», позволяющая оценить на сколько клиент «честен» при прохождении опросника.
· Установка на согласие - установка испытуемого давать утвердительный ответ («да») независимо от их содержания. Чаще всего данная тенденция проявляется, если вопросы неоднозначны, допускают различные трактовки.
· Установка на неопределенные или средние ответы. Наличие в опроснике средней категории ответов (затрудняюсь ответить, не уверен, не знаю) увеличивают вероятность проявления данной установки, респондент с большей вероятностью предпочтет именно такой вариант ответа.
· Установка на крайние ответы. Некоторые испытуемые независимо от содержания вопросов предпочитают выбирать крайние ответы, если в бланке представлена шкала с полярными значениями.
Тем не менее на первом уровне данного исследования мы продолжали процесс усовершенствования содержательной структуры опросника - прежде всего на уровне работы с низкодискриминативными вопросами. Более подробно работа над содержательной валидностью опросника и низкодискриминативными вопросами раскрыта во второй главе данной работы.
Конструктная валидность измерительного средства отражает степень соответствия и адекватности метода экспериментальным данным или теории (Lienert G.A., Raatz U. Testaufbau und Testanalyse. 5., vollig neubearbeitete und erweiterte Auflage. Weinheim: Beltz, 1994. 423 s.)
Так же конструктную валидность определяют, как один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания в нашем случае - уровень завершенности развода. Конструктная валидность определяет область теоретической структуры психологических явлений, измеряемых тестом. (Лучинин А.,Психодиагностика, 2008)
Высокий уровень конструктной валидности разрабатываемого психодиагностического средства отражает способность измерительного средства к измерению теоретически обоснованной черты (свойства, феномена). Другими словами, конструктная валидность демонстрирует точность психологического конструкта, который измеряется психологическим тестом.
Эмпирическими индикаторами конструктной валидности являются конвергентная и дискриминантная (или дивергентная) валидность.
(Campbell D.T., Fiske D.W. Convergent and discriminant validation by the multitrait6mul6 timethod matrix // Psychological Bulletin. 1959. № 56. P. 81--105.)
· Конвергентная валидность указывает на уровень ожидаемой связи тестовых оценок с другими показателями (при условиях независимости переменных). Цель проверки конвергентной валидности измерительного средства заключается в определении соответствия между оценками теста и его ожидаемыми оценками. Для того, чтобы обеспечить полное доказательство валидности, необходима проверка конвергентной валидности опросника Эмпирический подход к конвергентной валидизации является частным случаем. В случае, если для измерения определённого явления уже существуют несколько методик, то наиболее адекватно было бы использовать хотя бы две из них и сравнить полученные результаты. Когда данные, полученные от разных методик, будут иметь высокую корреляцию, то можно говорить о конструктной валидности теста (Х.В. Гессман.,2013).
Пример конвергентной валидности - наличие значимой корреляции между тестом на «мотивацию достижения» и тестом на «принятие риска» (смелость) Пример конвергентной валидности - наличие значимой корреляции между тестом на «мотивацию достижения» и тестом на «принятие риска» (смелость) .(Х.В. Гессман.,2013)
· Дискриминантная валидность отражает достигнутый уровень корреляции разрабатываемой методики с результатами других методик, предназначенных для измерения теоретически разных понятий. Таким образом, чем ниже уровень корреляции опросника с другими психодиагностическими средствами - тем выше уровень дискриминантной валидности.
Стоит также отметить, что достигнутый уровень конструктной валидности теста может быть значительно снижен за счет содержания в опроснике неточных, абстрактных формулировок теоретического конструкта. (Х.В. Гесманн., 2013)
Помимо этих критериев важными являются также (кротко отметим параметры, не являющиеся фокусом нашей работы, но являющиеся неотьемлимой частью все процедуры проверки валидности):
6. Оценка надежности теста. Надежность - согласованность или соответствие результатов, полученных при первом и повторном тестировании одними и теми же испытуемыми.(М.Д Коновалова., Экспериментальная психология, 2009). Другими словами на данном этапе производится оценка устойчивости результата к действию случайных факторов, как внутренних так и внешних.
Наиболее часто при разработке психодиагностического средства используется оценка ретестовой надежности опросника, то есть рассматривается соответствие результатов первично проведенного теста с результатами повторного тестирования, которое, как правило, проводится спустя несколько месяцев.
Методика может считаться надежной при условии, что коэффициент корреляции результатов составит не менее 0,075. В обратном случае над опросником должна быть проведена дополнительная работа, такая как корректировка текста заданий.
7. Стандартизация теста. Данный этап включает разработку норм (стандартов) показателей по опроснику.
Стандартизация оценок представляет собой процесс конвертации нормальной (или искусственно нормализированной) шкалы первичных оценок - эмпирических значений измеряемого показателя в шкальные оценки, то есть в те оценки, которые отражают их место в распределении результатов всей выборки испытуемых.
8. Определение прогностической валидности опросника. Прогностическая валидность - отображает точность диагностирования методикойпсихологического качества и по истечению некоторого времени после измерения. Иными словами, методика представляет из себя также индикатор конкретного временного интервала актуальности результата исследования. (М.Д Коновалова., Экспериментальная психология, 2009)
После прохождения восьми вышеупомянутых этапов, имея теоретическое обоснование, при достижении достаточного уровня надежности-согласованности, очевидной, содержательной и конструктной форм валидности, пройдя процедуру стандартизации, разрабатываемое средство может считаться пригодным для использования в психодиагностике.
Таким образом мы можем говорить о том, что на сегодняшний день разрабатываемое психодиагностическое средство «Уровень завершенности супружеского развода» находится на этапе валидизации - одном из ключевых моментов в разработке самостоятельного измерительного средства. Также целью данного параграфа было дать общую картину процесс разработки измерительного и обозначить ряд последующих задач, а именно - полное подтверждение валидности опросника (достижения высокого уровня содержательной, конструктной и в последствии - прогностической валидности теста), а также необходимость процедура стандартизации - другими словами, установления нормальных значений среди результатов опросника.
Итак, ключевой задачей текущего этапа разработки опросника «Уровень завершенности супружеского развода в семье с ребенком» была дальнейшая, проведенная на значимости статистического уровня и с учетом результатов предыдущего пилотажного исследования, проверка конструктной валидности.
Глава 2. Проверка конструктной валидности опросника «Уровень завершенности супружеского развода в семье с ребенком». Работа с низкодискриминативными вопросами
2.1 Низкодискриминативные вопросы опросника «Уровень завершенности супружеского развода в семье с ребенком». Работа с низкодискриминативными вопросами
В рамках данной работы, нами было принято решение о включении пункта проверки уровня дискриминативности вопросов, которые были выявлены на этапе проверки содержательной валидности опросника «Уровень завершенности супружеского развода в семье с ребенком» (В. Хромова., Г.Л. Будинайте., 2017,)
Таким образом, мы на первом этапе данного исследования поставили задачу дальнейшей корректировки уровня достигнутой содержательной валидности, Только после этого мы считали возможным проводить проверку конструктной валидности опросника «Уровень завершенности супружеского развода в семье с ребенком»
Анализ уровня дискриминативности вопросов проводится с целью включения того или иного вопроса в основной текст опросника, а также подтверждения того, что каждый конкретный вопрос измеряет тот же параметр (параметры), что и другие задания, включенные в содержание теста.
Для подтверждения дискриминативности вопроса, коэффициент корреляции должен быть выше значения 0,2. Вопросы, показавшие меньший коэффициент корреляции в результате проверки, требуют доработки.
В результате предыдущей проверки дискриминативности заданий опросника (Хромова В, 2017) «Уровень завершенности супружеского развода в семье с ребенком» было обнаружено, что 19 вопросов являются низкодискриминативными относительно всего опросника и 6 - относительно шкал опросника, которым они принадлежат.
Более детальный анализ низкодискриминативных вопросов позволил выделить два фактора, объединяющих низкодискриминативные задания опросника.
1. Часть вопросов, попавших в список низкодискриминативных заданий, входят вопросы, исследующие степень конфликтность взаимодействия бывших супругов. Другими словами, прямая формулировка, декларирующая конфликт между бывшими супругами, вероятно вызывает у респондента предпочтение игнорировать ответы, которые указывали бы на трудности во взаимоотношениях.
2. Вторую группу составляют вопросы, в ответе на которые респонденты стремились дать наиболее «социально желательный ответ».
Эффект социальной желательности наиболее частое явление, влияющее на появление низкодискриминативных вопросов. Это связано с выбором респондентов ответов, которые могли бы представить их в «неправильном свете». В случае анализа низкодискриминативных вопросов разрабатываемого опросника, было обнаружено, что 10 из 19 низкодискриминативных заданий (имеющих низкий уровень корреляции с суммарным баллом по шкале) принадлежали шкале «Социальное взаимодействие опрашиваемого», исследующей восприятие респондента своего социального положения в связи с разводной ситуацией.
В ходе работы над низкодискриминативными вопросами 5 вопросов было исключено из основного текста опросника (вопросы, касающиеся «бытовой завершенности развода).
Итого, нами был проведен анализ и переработка 17 низкодискриминативных вопросов (3 вопроса были оставлены без изменения в связи с нормальным распределением полученных вариантов ответов на них, а также предположением, что увеличение выборки в текущем исследовании повлияет на повышение уровня корреляции данных вопросов)
Для повышения уровня дискриминативности заданий, мы придерживались трех основных идей, обозначенных на научно-исследовательском семинаре с участием М.Чумаковой, посвященном работе с низкодискриминативными вопросами (более подробно работа над переформулированием низкодискриминативных вопросов представлена в Приложении №10) :