Курс лекций: Основы методологии и методики библиотечных исследований

Существует ряд классификаций тестов в зависимости от таких криетериев, как: направленность, цель применения, форма процедуры тестирования, форма применения стимульного материала, степень применения специальных средств.

Классификация тестов.

Рассмотрим основные правила тестирования. К ним относятся:

информированность испытуемого о целях тестирования,

обеспечение комфортной ситуации проведения тестирования,

соблюдение инструкции и методических указаний по обработке и интерпретации данных,

обеспечение конфиденциальности полученной информации,

ознакомление испытуемого с результатами тестирования,

накопление сведений, полученных с помощью других методов и соотнесение их друг с другом.

Лекция 11. Методы экспертных оценок

Общая характеристика, предназначение и виды экспертных оценок.

Эксперт - это высококвалифицированный, творческий специалист в определенной области, хорошо знающий прошлое, настоящее и умеющий прогнозировать развитие науки и практики в будущем, которого привлекают для надежного обоснованного высказывания по интересующей исследователя проблеме.

Методы экспертных оценок предназначены для выполнения прогнозов развития определенной отрасли и оценки реальных явлений, событий, фактов, не поддающихся непосредственному измерению. Сведения от экспертов получают с помощью различных разновидностей экспертных опросов.

Экспертный опрос - исследовательский метод, предполагающий получение данных с помощью обобщения мнений компетентных лиц (высококвалифицированных специалистов)

Экспертное оценивание (метод компетентных судей, рейтинг) - исследовательский метод, предусматривающий привлечение для объективной оценки изучаемого явления компетентных специалистов, мнения которых дополняют и перепроверяют друг друга

Разновидности экспертного оценивания: метод обобщения независимых характеристик, психолого-педагогический консилиум, метод диагностических ситуаций, метод анализа взаимодействия, метод полярных баллов, метод Делфи.

Предназначение метода:

уточнение основных положений методики исследования, определения процедурных вопросов, выбора методов и приемов сбора и обработки материала;

оценка достоверности и уточнение данных массовых опросов при возможных ошибках искажений;

более глубокий анализ результатов исследования и прогнозирование характера изменений изучаемого психолого-педагогического явления ;

подтверждение и уточнение сведений, полученных с помощью других методов;

анализ результатов исследований при различном толковании

прогнозирование развития психолого-педагогической науки и практики

Составные части метода :

*критерии компетентности экспертов,

* критерии формализации мнений экспертов,

*формулы компетентности экспертов,

*мера согласованности мнений экспертов,

*параметры оценки изучаемого явления,

* опросный лист,

*вопросник,

*анкета,

* логические и статистические процедуры,

* количество ранжируемых качеств,

*список экспертной группы,

*графики,

*диаграммы,

*таблицы.

Очень важно определять необходимое число экспертов. Для этого первоначально производится расчет от объема выборки, далее составляется список лиц, компетентных в изучаемой проблеме. В группе должно быть минимальное количество экспертов. Выбор экспертов, как правило, осуществляется или на основе анализа публикаций, или предварительного опроса теоретиков и практиков о предполагаемой компетентности будущих экспертов. Для этой цели в анкету эксперта могут быть введены специальные таблицы самооценки компетентности экспертов. Наиболее удачной является форма, предложенная Евлановым и Кутузовым, адаптированная в ряде гуманитарных исследований. Она представляет собой таблицу.

Кроме того, компетентность экспертов определяется по формуле : К=А/А мах, где А- суммарный балл компетентности экспертов в результате сложения численного коэффициента по каждому вопросу анкеты, А мах - максимально возможная оценка баллов.

Не менее ответственным является этап составления вопросника для экспертов. Он составляется по тем правила, что и вопросник интервью или анкета, но в отличие от них допускается применение профессиональной терминологии, акцентирование внимания исследователя на индивидуальных суждениях эксперта, на оценки изучаемых явлений и фактов. Например, экспертам предлагается оценить в баллах (по 10-балльной или 5-балльной шкале) значимость различных событий и явлений., или дать временной прогноз события, развития событий, или определить значимость событий по степени их важности от наибольшей до наименьшей, или присоединиться к одному из оценочных суждений, а также высказать свое мнение. Оценки могут быть индивидуальными и коллективными. Экспертное интервью представляет собой беседу исследователя с экспертом по заранее разработанной программе. Метод аналитической экспертной оценки требует более длительную работу специалиста-эксперта для определения тенденций развития объекта, оценки его настоящего и будущего состояния. В качестве разновидности метода аналитической экспертной оценки применяется метод докладной записки. К коллективным экспертным методам относят метод экспертной комиссии, метод коллективной генерации идей, метод Делфи. Метод экспертной комиссии представляет собой форму научного семинара, где каждый из участников- специально приглашенный эксперт-специалист отстаивает свою точку зрения по изучаемому вопросу. Метод коллективной генерации идей также может осуществляться в форме научного семинара, но проводимого по специальной методике. Суть этой методики заключается в том, что эксперты разбиваются на две группы. Первая группа состоит из 10-15 человек и занимается творческой генерацией идей, а вторая из 3-5 человек оценивает работу первой группы. Эффективность мозгового штурма зависит от многих факторов: от четких действий руководителя, активности участников, умения снять скованность и самоконтроль. Групповое мышление на 70% эффективнее по выдвижению новых нестандартных творческих идей. В качестве недостатков специалисты отмечают информационный шум, спонтанный стихийный характер высказываний. Метод Делфи предусматривает процедуру экспертизы (в несколько этапов) путем письменного ответа экспертов на вопросы. На первом этапе эксперты не вступая в контакт друг с другом отвечают на вопросы. На втором этапе экспертов знакомят с обобщенным мнением коллег и предлагают вторично высказать, уточнить свои позиции с учетом ответов и доводов коллег. При необходимости проводится третий и четвертый туры ( этапы).

Для разработки прогнозов развития определенной отрасли применяются, как правило, методы экспертных оценок, экстраполирования и интерполирования, моделирование.

Лекция 12. Моделирование как метод исследования

Моделирование - общенаучный метод исследования любых явлений, состоящий в построении и исследовании особых объектов ( систем) - моделей( вещественных или знаковых) других объектов - оригиналов или прототипов; иными словами моделирование - это воспроизведение характеристик некоторого объекта на другом объекте( модели) специально созданном для его изучения.

Сущность моделирования заключается в установлении подобия явлений( аналогии адекватности одного объекта другому в определенных отношениях и на этой основе превращения более простого по структуре и содержанию объекта в модель более сложного ( оригинал).

Модель - вспомогательное искусственно созданное для изучения средство, которое в процессе исследования дает новую информацию об основном объекте изучения. В наиболее общем виде модель определяют как систему элементов, воспроизводящую определенные стороны, связи, функции предмета исследования.

Рассмотрим структуру моделирования и механизм действия метода. Механизм действия метода моделирования представляет собой иерархическую последовательность этапов: * переход от естественного объекта к модели, построение модели; * экспериментальное исследование модели; переход от модели к естественному объекту; перенесение результатов экспериментирования на предмет.

Обычно выделяют два типа моделей : теоретическая и нормативная.

Теоретическая модель представляет собой некоторую четкую фиксированную связь элементов, отражающую внутренние, существенные отношения реальности, что позволяет действовать с ними как идеализированными объектами.

Нормативная модель - идеализированная, реализующая прообраз проекта педагогической деятельности, но не непосредственный проект, содержащая представление о том, что должно быть сделано для достижения наилучших результатов о предметах или процессах, не существующих или существующих, но непознанных.

Модели выполняют ряд гносеологических функций: иллюстративную, трансляционную, объяснительную, предсказательную. Наглядно эти функции представлены на диаграмме.

Диаграмма 11.2. Гносеологические функции моделей.

Диаграмма 11.3. Классификация моделей.

Диаграмма 11.4. Механизм моделирования.

Выделяют такие виды моделирования :

Информационное

Лингвистическое

Тезаурусно-целевое

Социальное

Организационное

Метод причинных моделей

Метод анализа направленных связей

Математическое

Кибернетическое

Имитационное

Формы моделирования разнообразны и зависят от используемых моделей и сферы применения модели. По характеру моделей выделяют предметное и знаковое ( информационное) моделирование. При знаковом моделировании моделями служат схемы, чертежи, формулы, предложения в некотором алфавите (естественные или искусственные языки).

Смысл метода кибернетического моделирования заключается в том, что многие объекты и явления описываются столь сложным системным соотношением, что прямое применение традиционных методов оказывается практически невозможным. Описание объектов и явлений помещают в память компьютера. Благодаря огромной скорости за короткое время можно получить большое количество вариантов решений системы при различных значениях параметров; позволяет автоматически строить таблицы или графики зависимостей от параметров тех или иных интересующих исследователя решений. Кибернетическое моделирование позволяет осуществлять исследование объективно его описанию, не прибегая к реальной (физической) модели этого объекта. Кибернетическое моделирование целесообразно применять к таким объектам, которые не имеют точного математического описания в традиционной форме или объектам, имеющим лишь качественное достаточно полное и точное описание.

Метод имитационного моделирования подробно описан Р.Шенноном. Он обосновал метод имитационного моделирования как процесс конструирования модели реальной системы и постановки экспериментов на этой модели с целью понять поведение системы или оценить в рамках ограничений, как накладываемых некоторым критерием или совокупностью критериев различных стратегий, обеспечивающих функционирование данной системы.

Метод причинного моделирования, или метод причинных аналогий возник в социологии, затем был развит в эконометрике и в генетике (как метод анализа направленных связей). Создание причинных моделей предполагает первоначальную формальную оценку априорности, выведенной из содержательных допущений и гипотез исследователя и структуры отношений в изучаемом явлении. Элементы метода причинных моделей- факторы-показатели, включенные в модели. Смысл метода причинных моделей заключается в том, что выявляются высокие коэффициенты зависимостей в той модели, которая является адекватной эмпирическим данным. Конкретная форма представления факторов( показателей) выступает в виде относительных величин коэффициентов в рамках системы отношений между изучаемыми признаками. Цель составления подобных моделей - представить логическую структуру той системы связей, которую исследователь видит или предполагает в эмпирических данных. Выбранные наиболее весомые факторы модели и будут показателями. Модели включают не только действие факторов на зависимый признак, но и обоснование связи между факторами.