Дипломная работа: Программа внутрикорпоративного повышения уровня ИКТ-компетентности педагогов

2 Этап. Прохождение программы (октябрь-декабрь 2017) для педагогов занимает 5 недель (по количеству модулей). На данном этапе идёт постоянная внешняя оценка как со стороны учителей (в рамках внутренней среды программы), так и со стороны учеников (с помощью электронных закрытых анкет) - в рамках внешней среды по отношению к программе.

3 Этап. Оценка эффективности программы (в том числе, оценка динамики ИКТ-компетентности педагога). Декабрь 2017. Включает в себя диагностику ИКТ-компетентности педагога и анкетирование учащихся о характере и интенсивности использования ИКТ на уроках.

Оценка эффективности программы

На данный момент существует несколько моделей оценки эффективности корпоративных образовательных программ. Наиболее популярные: модель Д. Кирпатрика, V-модель Дж. Филлипса и модель человеческого капитала.

Для оценки эффективности программы развития ИКТ-компетентности педагогов была выбрана модель Д. Кирпатрика, поскольку она включает в себя несколько уровней оценивания (Анкеты даны в Приложении 4):

· Реакция. Даёт мгновенную обратную связь, что необходимо для оценки преподавателя, первой оценки полезности образовательного контента и сформированных условий обучения.

· Научение. Оценка уровня усвоения материала. Позволяет оценить основной результат прохождения программы: знаниевую компоненту и навык применения.

· Поведение. Оценка соответствия полученных навыков рабочим обязанностям, т.е. насколько эти навыки будут использованы в рабочем процессе без привлечения опроса учащихся, насколько изменилось поведение участников программы.

· Результативность. В классических корпоративных программах бизнес-сектора есть культура измерения производительности сотрудников, и практика измерений довольно обширна. Измерение производительности педагогов - вопрос не однозначный и решается не одно десятилетие. На данный момент оценка образовательной программы по этому уровню не производится.

Обязательными метриками, включенными в программу являются:

· Индекс лояльности NPS (Net Promoter Score). Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

· Learning Аnalytics. Данные о происходящем обучении и его контексте, чтобы понять и оптимизировать образовательный процесс и среду. В данном случае мы включили только оценку работы с сайтом программы с помощью Google Analitics и Я. Метрика, позволяют автоматически собрать информацию по работе с сайтом: считают количество посещений, группируют посетителей по признакам, формируют популярные страницы, вычисляют среднее время пребывания на сайте, формируют отчёты автоматически.

Первый уровень. Реагирование

Для оценки данного показателя в каждый модуль была включена анкета оценки модуля (см. Приложение 4). Вопросы анкеты для каждого модуля одинаковы.

Аналитическая справка: для всех модулей показатель средний отмеченный балл довольно высок. При этом особенно выделяются 3 и 5 модуль: это использование инструментов ИКТ в рамках современных педагогических практиках и организация и управление учебным процессом.

Аналитическая справка: практически для всех модулей участники курса отмечают максимальный балл, при этом балл за модуль «Технические и программные средства интеренет» несколько ниже. В более подробном опросе оказалось, что задания в данном модуле были 2х уровней: слишком лёгкими - по применению технических средств и слишком времязатратными - по подготовке long-read материала. Это говорит о том, что для следующих потоков необходимо задания сбалансировать.

Аналитическая справка: высокие показатели по данному критерию говорят о том, что программа отвечает запросам заказчика в полной мере. Но, надо уточнить, что на данный показатель может также влиять формат организации работы внутри модуля (по тренинговой методике): когда на начало модуля участник, получая входную информацию о задачах модуля, заданиях и образовательном контенте, сам выбирает для себя маршрут прохождения и формулирует цели. Это обязательная часть прохождения каждого модуля в дальнейшем подкрепляется личной рефлексией о результативности.

Аналитическая справка: в работе программы предусмотрено включение 2х человек: куратора курса и эксперта. В связи с тем, что курс проводился одним человеком, в работе были задержки с итоговыми результатами по 2 м модулям.

Аналитическая справка: среда организована таким образом, чтобы максимально прозрачно выстроить образовательный процесс, и иметь возможность оценивать не только знаниевую компоненту, но и уровень владения навыками, в том числе - навыками работы в команде, дистанционного взаимодействия и т.п.

Аналитическая справка: на данной диаграмме мы видим вклад каждого критерия в общий результат по каждому модулю. По четвёртому модулю мы получили самые низкие оценки по сравнению с другими модулями. В связи с этим, для дальнейшей работы с курсом уровень материалов, заданий, необходимо оценить. Возможно, такая оценка так же связана с тем, что 5 модулей (5 недель) для внутрикорпоративной программы - довольно много и необходимо перестраивать логику программы.

Второй уровень. Научение. Оценка текущего уровня ИКТ-компетентности

Оценка знаниевой компоненты и навыков проводится в каждом модуле 1 раз, в форме оценки проявленных знаний и демонстрации навыков при выполнении заданий (на основе уровней: неправильное использование / адекватное использование / экспертное использование).

Оценка уровня ИКТ-компетентности педагогов проводится на основе анализа динамики по показателям ИКТ-компетенций педагогов. На основе этой диагностики мы можем оценить, насколько программа влияет на педагогов с точки зрения их навыков, но не с точки зрения насколько они меняют ИОС. Положительная динамика в этом показателе является необходимым, но не достаточным условием. Отсутствие статистически значимых изменений в этом показателе скажет о некачественной разработке и / или реализации программы.

На данный момент подходящего инструмента для оценки ИКТ-компетентности педагогов найти не удалось. (Выше, в разделе «Оценка ИКТ-компетентности педагогов» проанализированы существующие инструменты и обосновано решение создать диагностическую анкету ИКТ-компетентности для данной программы.)

В связи с чем на основе запроса администрации, учителей и учащихся был сформирован запрос и оформлен в рамку ICT CFT (См. Приложение 2). На основе этой рамки был построен опросник, содержащий 63 вопроса, большее количество которых - открытые. Прохождение анкеты требовало огромного количества времени для респондентов, и значительный уровень экспертной оценки.

В результате было принято решение использовать комбинированное оценивание: сформировать новый опросник, уменьшив количество вопросов, оставив только значимые, преобразовав вопросы в закрытую форму. Это значительно укрупнило масштаб: на основе первого опросника довольно подробно можно было увидеть текущий уровень респондента не только по каждому направлению матрицы ICT CFT, но и по конкретным ИКТ-компетенциям и навыкам. За счёт изменения опросника эта детализация потеряна, но мы реализуем это оцениванием работы внутри каждого модуля.

Вторая версия опросника содержит 30 вопрос, все из них закрытые, некоторые с возможностью внести собственны й вариант ответа.

На основе матрицы ICT CFT сформированно уточнение для диагностической анкеты, и выделены вопросы.

Таблица 6. Результаты входного тестирования педагогов

Аналитическая справка: результаты участников распределены не равномерно, для высокого уровня использования ИКТ в образовании отвечает всего 1-3 человека из тех, кто проходил тестирование. Это касается всех разделов, кроме раздела технические и программные средства, где за счет использования некоторых технологий (практически совпадающих для всех участников) были набраны высокие баллы.

По двум важным разделам («Организация и управление образовательным процессом» и «Учебная программа и оценивание») большинство респондентов попадает в область начального владения сведениями, не активного использования.

Таким образом, для программы формируются дополнительные цели: перевести участников программы «во второй столбец» по всем разделам и предоставить тем участникам, которые уже находятся на этом уровне возможность продвижения на более высокий уровень «Производство знаний».

Динамика ИКТ-компетентности педагогов

В последнем модуле перед завершением программы было еще раз проведено итоговое тестирование, которое позволило оценить динамику ИКТ-компетентности педагогов. Здесь и далее приводятся данные по количеству участников программы (в%), набравших определённый бал и попавших в соответствующую категорию («Производство знаний», «Освоение знаний», Применение ИКТ»).

Аналитическая записка: для данного показателя часть участников получила развитие, перейдя на следующий уровень. Переход на третий уровень не был заложен в программе и не оценивался.

Аналитическая записка: Для данного показателя значительным было не только уменьшение участников, набравших небольшое количество баллов, но и значительное увеличение участников, набравших высокий балл. Так же можно отметить в целом положительное изменение по баллам: 0 в выходной анкете не набрал никто, большинство участников повысило свой балл на 4-5 пунктов из 10 возможных.

Аналитическая записка: изменение баллов, характерное для показателя «Учебная программа и оценивание» характерно так же для остальных параметров в разной степени. Для показателя «Педагогические практики» значительным был переход с низших значений на средние и близкие к уровню «Производство знаний».

Аналитическая записка: данный модуль оказался одним из самых успешных для участников программы, поскольку именно в этом модуле удалось перевести участников на самый высокий уровень тех, кто уже показывал хорошие результаты. Возможно, здесь необходимо усложнить вопросы.

Аналитическая записка: один из уровней, в которых программа не дала значительного результата. Можно предположить, что задания в этом модуле на данный момент не позволяют значительно закрепить изменения в практиках или некоторые результаты этих изменений не могут проявиться достаточно быстро, а могут проявляться в определённых этапах, например, организация проектной деятельности и т.п.

Аналитическая записка: данный показатель один наиболее позитивных: здесь практически всех удалось перевести на уровень «Освоение знаний» и «Производство знаний». Эффективность участия в профессиональных сообществах в любой форме показана в программе в нескольких модулях, это позволяет внутри организации создавать свои микросообщества и использовать внутренний потенциал развития организации.

Третий уровень. Поведение

Оценку, включены ли новые паттерны работы в педагогическую практику, проводим анкетированием (самооценка) педагогов, анкетированием учащихся.