Материал: ЛекцМаркИссл(т.1-3)

а) несколько методов — один исполнитель;

б) один метод — несколько исполнителей;

в) несколько методов — несколько исполнителей.

Несколько методов — один исполнитель. Здесь один и тот же исполни­тель использует два или более различных метода для измерения одного и того же свойства.

Рассмотрим различные способы использования этого метода и прежде всего — эквивалентные шкалы. Возможны равнозначные выборки при­знаков для описания измерения поведения, отношения, ценностной ориентации, т.е. какой-то установки. Эти выборки и образуют парал­лельные шкалы, обеспечивая параллельную надежность.

Каждую шкалу рассматриваем как способ измерения некоторого свойства и в зависимости от числа параллельных шкал имеем ряд спо­собов измерения. В качестве исполнителя выступает респондент, даю­щий ответы одновременно по всем параллельным шкалам. Все ответы сортируются в зависимости от принадлежности к шкале, и таким обра­зом получаем параллельные данные.

При обработке такого рода данных следует выяснить два момента:

1) непротиворечивость пунктов отдельной шкалы;

2) согласованность оценок по разным шкалам.

Первая проблема возникает в связи с тем, что модели ответов не представляют идеальной картины; ответы нередко противоречат друг дру­гу. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.

Вторая проблема непосредственно касается сопоставления параллель­ных данных.

Один метод — несколько исполнителей. Если метод надежен, то разные исполнители дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты от­дельных исполнителей нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо групп результа­тов, заслуживающую большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение инфор­мации любым из рассматриваемых методов (например, использование самооценок против оценок). Анализ параллельных данных с помощью описанных ниже процедур позволит установить правильность такого пред­положения.

Для количественных признаков при решении вопроса о согласован­ности оценок нескольких исполнителей предлагается выявить ошибки соответствия одним из приемов, рассмотренных при изучении устойчивости. Прежде всего, поскольку мы имеем здесь случай прямых груп­повых наблюдений, наиболее адекватной оценкой совпадения данных является средняя квадратичная ошибка.

Тем же способом можно изучать совпадения оценок и самооценок. Если согласованность оценок со стороны «судей» и соответствующих самооценок респондентов будет достаточно высокой, это может озна­чать, что методика достаточно обоснована. Во всяком случае, одновре­менное использование оценок и самооценок дает возможность глубже понять сущность измеряемых признаков, уточнить их смысл.

Несколько методов — несколько исполнителей. Одним из способов уста­новления обоснованности измерения некоторого качества у одного и того же респондента (объекта) является фиксирование данного свойства раз­ными исполнителями, владеющими разными методами. Как и в предыду­щих случаях, здесь нельзя установить некую абсолютную обоснованность, поэтому рассматривается лишь обоснованность одного способа относи­тельно другого.

Кроме того, в ряде случаев при проверке измерений на обоснован­ность используется подход, носящий название «тест по эталонной груп­пе». Смысл проверки — в сопоставлении данных, полученных путем из­мерения по шкале, с достоверными сведениями об объекте измере­ния. Например, если подключить к телевизору прибор, регистрирующий время его работы, и сопоставить показания прибора с результатами оп­роса о частоте и длительности просмотра телепрограмм, можно точно установить обоснованность данного опроса.

Использование параллельных методов измерения одного и того же свойства сталкивается с целым рядом трудностей.

Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для про­верки такой гипотезы не существует. Следовательно, необходимо прибег­нуть к содержательному (логико-теоретическому) обоснованию того или иного метода.

Во-вторых, если обнаруживается, что параллельные процедуры изме­ряют общее свойство (данные существенно не различаются), остается вопрос о теоретико-содержательном соответствии этих процедур.

Нельзя не признать, что сам принцип использования параллельных процедур оказывается не формальным, а скорее содержательным прин­ципом, и решение остается за теоретико-методологической концепци­ей исследования.

Метод судейства при обосновании процедур измерения. Один из широко распространенных подходов к установлению обоснованности — это ис­пользование так называемых судей, экспертов. Исследователи обращаются к определенной группе людей (возможно, участников фокус-группы. с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого явления, и про­сят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого явления. В качестве набора признаков может выступить список отдельных сужде­ний, характеристики явления и т.д.

Процедуры судейства многообразны. В основе их могут лежать мето­ды парных сравнений, ранжирования, последовательных интервалов и т.д.

В общем виде решение проблемы состоит в том, чтобы:

а) внимательно проанализировать состав судей с точки зрения адек­ватности их жизненного опыта и признаков социального статуса соответ­ствующим показателям обследуемой генеральной совокупности;

б) выявить эффект индивидуальных отклонений в оценках судей относительно общего распределения оценок.

Наконец, следует оценить не только качество, но и объем выбороч­ной совокупности судей.

С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высокая и, соответственно, ошибка измерения мала, численность судей может быть небольшой. Нуж­но задать значение допустимой ошибки и на основании ее рассчитать требуемый объем выборки.

При обнаружении полной неопределенности объекта, т.е. в случае, когда мнения судей распределятся равномерно по всем категориям оцен­ки, никакое увеличение объема выборки судей не спасет ситуацию и не выведет объект из состояния неопределенности.

Здесь возникает проблема точности (устойчивости) измерения. Рас­смотрим с этой точки зрения принципиально разные варианты судей­ства:

1) производится классификация состояний объекта (сам объект имеет качественные градации);

2) находится количественная оценка изменяющихся состояний объекта, представляющих собой континуум.

В первом случае при определении объема выборки судей необходи­мо задать некоторый уровень определенности в их мнениях, т. е. раз­брос распределения оценок должен быть не выше некоторого порого­вого значения. Во втором — задается уровень допустимой ошибки. Далее возникает вопрос о численности градаций в судейских оценках, что относится к чувствительности любой измерительной процедуры. В об­щем случае речь идет не о чем ином, как о чувствительности измере­ния, зависящего и от изменчивости объекта, и от устойчивости инст­румента измерения. Основной способ определения дробности судейс­ких оценок — выявление их устойчивости путем двух последовательных (с временным интервалом) судейств по единой процедуре. Эта операция уже рассматривалась выше в разделе об устойчивости.

Если объект достаточно неопределенен, то большое число градаций только внесет дополнительные помехи в работу судей и не принесет бо­лее точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и, соответственно, сузить число градаций.

Выбор того или иного конкретного способа, метода или техники про­верки на обоснованность зависит от многих обстоятельств.

Прежде всего следует четко установить, возможны ли какие-то су­щественные отклонения от запланированной программы измерения. Если программа исследования ставит жесткие рамки, следует исполь­зовать не один, а несколько приемов проверки данных на обоснован­ность.

Во-вторых, нужно иметь в виду, что уровни устойчивости и обо­снованности данных тесно взаимосвязаны. Неустойчивая информация уже в силу недостаточной надежности по этому критерию не требует слишком строгой проверки на обоснованность. Следует обеспечить до­статочную устойчивость и уже затем принять соответствующие меры для уточнения границ интерпретации данных (т.е. выявить уровень обо­снованности).

Выбор конкретной техники проверки данных на обоснованность — задача, скорее, содержательная, чем формальная.

Многочисленные эксперименты по выявлению уровня надежности позволяют заключить, что в процессе отработки инструментов измерений со стороны их надежности целесообразна следующая последовательность основных этапов работы:

1. Предварительный контроль обоснованности методов измерения пер­вичных данных на стадии отработки методики. Здесь проверяется, на­сколько информация отвечает своему назначению по существу и каковы пределы последующей интерпретации данных. Для этой цели достаточны небольшие выборки в 10—20 наблюдений с последующей корректиров­кой структуры методики.

2. Второй этап — пилотаж методики и тщательная проверка устойчи­вости исходных данных, в особенности выбранных показателей и шкал. На этом этапе нужна выборка, представляющая микромодель реальной совокупности обследуемых.

3. В период этого же общего пилотажа осуществляются все необходи­мые операции, относящиеся к проверке уровня обоснованности. Резуль­таты анализа данных пилотажа приводят к усовершенствованию методи­ки, к доработке всех ее деталей, и в итоге — к получению окончательно­го варианта методики для основного исследования.

4. В начале основного исследования желательно провести проверку ис­пользуемого варианта методики на устойчивость с тем, чтобы рассчитать точные показатели ее устойчивости. Последующее уточнение границ обо­снованности проходит через весь анализ результатов самого исследова­ния.

Вне зависимости от использованного метода оценки надежности у исследователя имеется четыре последовательных шага по повышению надежности результатов измерений.

Во-первых, в случае чрезвычайно низкой надежности измерений неко­торые вопросы просто выбрасываются из анкеты, особенно когда степень надежности можно определить в процессе разработки анкеты.

Во-вторых, исследователь может «свернуть» шкалы и использовать меньше градаций. Скажем, шкала Лайкерта в этом случае может включать только следующие градации: «согласен», «не согласен», «не имею мне­ния». Обычно так поступают, когда пройден первый шаг и когда обсле­дование уже было проведено.

В-третьих, как альтернатива второму шагу или как подход, осуществ­ляемый после второго шага, оценка надежности проводится на индиви­дуальной основе. Скажем, проводится прямое сравнение ответов респон­дентов в ходе их первоначального и повторного тестирований или с ка­ким-то эквивалентным ответом. Ответы ненадежных респондентов просто не учитываются при проведении заключительного анализа. Очевидно, что если использовать данный подход без объективной оценки надежности респондентов, то, выбрасывая «неугодные» ответы, результаты исследо­вания можно подогнать под желаемые.

Наконец, после того как первые три шага были использованы, можно оценить уровень надежности измерений. Обычно надежность измерений характеризуется коэффициентом, изменяющимся от нуля до единицы, где единица характеризует максимальную надежность.

Обычно считается, что минимально приемлемый уровень надежнос­ти характеризуют цифры 0,65—0,70, особенно если измерения проводи­лись впервые.

Резюме по вышеизложенному относительно проверки надежности шкал измерения содержится в табл. 3.5.

Таблица 3.5

Проверка надежности шкал измерений

Очевидно, что в процессе проведения разными фирмами разнооб­разных маркетинговых исследований имела место по мере накопления опыта последовательная адаптация шкал измерений и методик их про­ведения под цели и задачи конкретных маркетинговых исследований. В этом плане с известными оговорками можно говорить о типовых фор­мах проведения аналогичных маркетинговых исследований. Это облег­чает решение задач, рассмотренных в данном разделе, и делает это скорее необходимым при проведении оригинальных маркетинговых ис­следований.

Достоверность (validity) измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но не достоверным. Последнее характеризует точность измерений по отношению к тому, что существует в реальности. Ложь не является единственной причиной низко­го уровня достоверности измерений. Можно также назвать плохую па­мять, плохое знание респондентом действительности и т.п.

Главное направление проверки достоверности измерений заключает­ся в получении информации из различных источников. Это может быть осуществлено по-разному. Здесь прежде всего следует отметить следую­щее.

Надо стремиться составлять вопросы таким образом, чтобы их форму­лировки способствовали получению достоверных ответов. Далее в анкету могут включаться вопросы, связанные друг с другом.

Например, в анкету помещается вопрос о том, в какой степени рес­понденту нравится какой-то продукт питания определенной марки. И далее спрашивается, какое количество данного товара было куплено респон­дентом за последний месяц. Данный вопрос направлен на проверку дос­товерности ответа на первый вопрос.

Часто для оценки достоверности измерений используются два раз­личных метода или источника получения информации. Например, пос­ле письменного заполнения анкет ряду респондентов из первоначаль­ной выборки дополнительно задаются те же вопросы по телефону. По схожести ответов судят о степени их достоверности.

Иногда образуют на основе одних и тех же требований две выборки респондентов и для оценки степени достоверности сравнивают их от­веты.

Главным инструментом реализации методов наблюдения и опроса яв­ляются анкета (вопросник) и механические устройства, например счет­чики количества людей, кино- и видеокамеры. Ниже будет чаще исполь­зоваться термин «вопросник», поскольку он носит более общий характер. Анкета применяется только при письменных ответах на поставленные вопросы.

Вопросник — опросный лист для получения каких-то сведений. Он выполняет следующие функции:

1. Переводит цели исследования в воп­росы.

2. Стандартизирует вопросы и форму ответа на них.

3. Текст и последовательность вопросов способствуют кооперации интервьюера с респондентами, стимулирует получение ответов на все вопросы.

4. При автоматическом введении данных вопросника в компьютер ускоряется анализ результатов исследования.

5. Служит целям проверки надежности и достоверности оценок.

Перечень данных функций подчеркивает важность уделить серьез­ное внимания составлению вопросников. Обычно этот процесс осуществляется в следующей последовательности:

1. Определение целей опроса.

2. Выбор методов сбора данных.

3. Разработка вопросов.

4. Оценка вопросов.

5. Одобрение со стороны клиента.

6. Тестирование.

7. Уточнение анкет.

8. Копирование анкет.

9. Сбор данных.

10. Табулирование и составление заключительного отчета.

Определение целей опроса и выбор методов сбора данных были рас­смотрены ранее. Ниже характеризуется процесс непосредственного со­ставления вопросника. Этот процесс носит итеративный характер и на­правлен на последовательное уточнение вопросника, повышение вероят­ности получения достоверных ответов, исключение влияния содержания вопросов и их формата на получаемые ответы. Кроме того, заказчику данного опроса также должно быть дано право оценить содержание воп­росника, может быть, заказчик должен поставить свою подпись на экзем­пляре анкеты перед ее копированием. Заказчик прежде всего оценивает вопросник с точки зрения целей проводимого обследования и полноты охвата исследуемой проблемы.

Вопросник обычно состоит из трех частей: введения, реквизитной части и основной части.

Главная задача введения — убедить респондента принять участие в опросе. Оно должно содержать цель проводимого опроса и должно по­казать, какую пользу получит респондент, приняв участие в опросе. Кроме того, из введения должно быть понятно, кто проводит данный опрос и сколько потребуется времени для ответа на поставленные воп­росы. Если опрос проводится по почте, введение может быть написано в виде сопроводительного письма.

В реквизитной части приводится информация, касающаяся респон­дентов: возраст, пол, принадлежность к определенному классу, род за­нятий, семейное положение, имя и адрес — для частных лиц; для организаций: размер, местоположение, направление производственно-хозяйственной деятельности, положение респондента в организации, его имя. Кроме того, необходимо идентифицировать сам вопросник, т.е. дать ему название, указать дату, время и место проведения опроса, фамилию интервьюера.

При разработке основной части вопросника следует обратить вни­мание на: тип вопросов (формат ответов), содержание вопросов и их число, последовательность представления вопросов в анкете, наличие контрольных вопросов.

Существуют три основных формата задаваемых вопросов: открытые вопросы, закрытые вопросы и вопросы со шкалой ответов.

Открытый вопрос — вопрос анкеты, с помощью которой собирает­ся первичная маркетинговая информация; он позволяет опрашиваемо­му на вопрос отвечать своими словами, что дает ему возможность чувствовать себя при ответе на вопрос достаточно свободно, приво­дить примеры, иллюстрации. Открытые вопросы часто приводятся в начале анкеты для «разминки» респондентов. Примером открытого вопроса является вопрос: «Что вы думаете о..?» В таких вопросах от­сутствует предвзятость, стремление навязать определенный ответ. Од­нако ответы на открытые вопросы требуют достаточно больших затрат времени. Кроме того, полученные ответы могут быть интерпретирова­ны по-разному.

Закрытый вопрос — вопрос анкеты, с помощью которой собирается первичная маркетинговая информация; он включает все возможные ва­рианты ответов, из которых опрашиваемый делает свой выбор. Существу­ет два варианта таких вопросов:

1. Дихотомический, типа: «Имеете ли вы счет в банке?» В данном случае имеется только два варианта ответа: да, нет.