Дипломная работа: Программа внутрикорпоративного повышения уровня ИКТ-компетентности педагогов

В результате было принято решение использовать комбинированное оценивание: сформировать новый опросник, уменьшив количество вопросов, оставив только значимые, преобразовав вопросы в закрытую форму. Это значительно укрупнило масштаб: на основе первого опросника довольно подробно можно было увидеть текущий уровень респондента не только по каждому направлению матрицы ICT CFT, но и по конкретным ИКТ-компетенциям и навыкам. За счёт изменения опросника эта детализация потеряна, но мы реализуем это оцениванием работы внутри каждого модуля. Существенного сокращения вопросов добились путём объединения вопросов в один при возможности получить данные из 1 вопроса для 2х и более характеристик.

Вторая версия опросника содержит 30 вопросов, все из них закрытые, некоторые с возможностью внести собственны й вариант ответа.

На основе матрицы ICT CFT сформировано уточнение для диагностической анкеты, и выделены вопросы.

Итоговый вариант диагностической анкеты дан в Приложении 2.

Оценка эффективности программы

На данный момент существует несколько моделей оценки эффективности корпоративных образовательных программ. Наиболее популярные: модель Д. Кирпатрика, V-модель Дж. Филлипса и модель человеческого капитала.

Для оценки эффективности программы развития ИКТ-компетентности педагогов была выбрана модель Д. Кирпатрика, поскольку она включает в себя несколько уровней оценивания (Анкеты даны в Приложении 4):

· Реакция. Даёт мгновенную обратную связь, что необходимо для оценки преподавателя, первой оценки полезности образовательного контента и сформированных условий обучения.

· Научение. Оценка уровня усвоения материала. Позволяет оценить основной результат прохождения программы: знаниевую компоненту и навык применения.

· Поведение. Оценка соответствия полученных навыков рабочим обязанностям, т.е. насколько эти навыки будут использованы в рабочем процессе без привлечения опроса учащихся, насколько изменилось поведение участников программы.

· Результативность. В классических корпоративных программах бизнес-сектора есть культура измерения производительности сотрудников, и практика измерений довольно обширна. Измерение производительности педагогов - вопрос не однозначный и решается не одно десятилетие. На данный момент оценка образовательной программы по этому уровню не производится.

Обязательными метриками, включенными в программу являются:

· Индекс лояльности NPS (Net Promoter Score). Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

· Learning Аnalytics. Данные о происходящем обучении и его контексте, чтобы понять и оптимизировать образовательный процесс и среду. В данном случае мы включили только оценку работы с сайтом программы с помощью Google Analitics и Я. Метрика, позволяют автоматически собрать информацию по работе с сайтом: считают количество посещений, группируют посетителей по признакам, формируют популярные страницы, вычисляют среднее время пребывания на сайте, формируют отчёты автоматически.

Первый уровень. Реагирование

В процессе оценки на уровне реагирования необходимо было ответить на следующие вопросы:

- Что конкретно получил участник программы в каждом модуле?

- Какие методы лучше всего использовать?

- Когда лучше всего проводить программу?

- Как участник будет применять полученные знания и навыки на рабочем месте?

Для этого в каждый модуль была включена анкета оценки модуля (см. Приложение 4). Вопросы анкеты для каждого модуля одинаковы.

Второй уровень. Научение. Оценка уровня ИКТ-компетентности

Оценка знаниевой компоненты и навыков проводится в каждом модуле 1 раз, в форме оценки проявленных знаний и демонстрации навыков при выполнении заданий (на основе уровней: неправильное использование / адекватное использование / экспертное использование).

Оценка уровня ИКТ-компетентности педагогов проводится на основе анализа динамики (тестирование на входе и выходе, а так же выполнение заданий в каждом модуле) по показателям ИКТ-компетенций педагогов. На основе этой диагностики мы можем оценить, насколько программа влияет на педагогов с точки зрения их навыков, но не с точки зрения насколько они меняют информационное образовательное пространство учащихся. Положительная динамика в этом показателе является необходимым, но не достаточным условием. Отсутствие статистически значимых изменений в этом показателе скажет о некачественной разработке и / или реализации программы.

На данный момент подходящего инструмента для оценки ИКТ-компетентности педагогов найти не удалось. (Выше, в разделе «Оценка ИКТ-компетентности педагогов» проанализированы существующие инструменты и обосновано решение создать диагностическую анкету ИКТ-компетентности для данной программы.)

Для анализа результатов входного тестирования количество баллов, набранное респондентами соответствует определённому виду уровня владения ИКТ-компетентностью в рамке ICT CFT.

Третий уровень. Поведение

Этот уровень оценки эффективности программы является ключевым, поскольку цель программы лежит в изменении педагогических практик и включении ИКТ как эффективной составляющей образовательного процесса.

Обучение в данном курсе - это изменение установок, улучшений знаний об ИКТ в образовании и развитие навыков использования ИКТ-компетентности учителей в результате прохождения обучения, поэтому необходима личностная постановка целей в начале каждого модуля, планирование действий.

1. Что вы хотели бы уметь делать как результат участия в программе?

2. Какие конкретно действия вы собираетесь произвести?

3. Что вам может помешать в достижении успеха?

4. Как вы будете преодолевать эти препятствия?

5. Какая поддержка вам будет нужна для осуществления ваших действий?

6. В течение какого времени вы осуществите ваши действия?

7. Каких результатов вы ожидаете?

Мы оцениваем изменения в поведении с 2х позиций: самооценка учителем на основе диагностической анкеты (Приложение 4) - мы рассматриваем динамику показателей, и оценка изменений в применении ИКТ в образовательной деятельности учащимися (Приложение 4).

Результаты самооценки

1. Я получил новые знания во время обучения

2. Я могу успешно применять на своём рабочем месте полученные знания / навыки

3. Какой процент рабочего времени вы тратите на задачи, которые требуют знаний / умений, представленных в этой программе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

4. Насколько соответствовало содержание обучения успешной работе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

5. Сколько процентов новых знаний / умений вы напрямую применили в вашей работе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

6. Я смог применять обучение в работе через

· Уже в процессе обучения

· Через неделю

· Через 2-3 недели

· Через 5-6 недель

· Пока не применил

· Я не ожидаю никаких изменений от применения

7. Если вы не смогли успешно применить знания / умения, то почему?

· Содержание не соответствует работе

· Мешают или отбивают охоту применять

· Нет возможности

· Более высокие приоритеты

· Другие причины

8. У меня были определённые ожидания перед посещением обучения.

9. После обучения я определил, как я могу применять знания / навыки на рабочем месте.

10. Мне предоставили адекватные ресурсы для успешного применения обучения в работе.

2.6 Оценка индекса лояльности NPS (Net Promoter Score)

Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

Learning Аnalytics

В условиях использования бесплатной площадки Google Sites собирать специальную, подробную аналитику довольно сложно: на данный момент специальные среды, собирающие аналитику по работе программы как правило, платные и довольно сложные. Тем не менее, не имея таких ресурсов, я поставила задачу собрать хотя бы минимальные сведения о процессе обучения теми средствами, которые имеются.

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.

Таблица 5. Минимальный список необходимых ресурсов

*в рамках обучения по программе «Управление образованием»

**на основе временных затрат при проведении первой программы

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.

3. Реализация образовательной программы. Анализ результатов и описание эффектов программы

3.1 Условия опытно-экспериментальной работы

ГБОУ школа №2116: 3 корпуса школы, 6 корпусов дошкольных образовательных учреждений. Всего 140 учителей.

Экспериментальная работа будет проведена в корпусах «ШО2, ШО3», и охватит 60 педагогов для двух групп учителей: в октябре-ноябре и в ноябре-декабре.

Уровень информационно-образовательной среды находится между 1 и 2: доступ к ИКТ организован достаточно (но не свободно), при этом вопросы использования ИКТ только начали задавать. Каждое рабочее место учителя оборудовано компьютером и презентационной техникой, с доступом в интернет. В каждом здании 2-3 кабинета информатики, оборудованных компьютерами. Школьный wi-fi работает, но ученики не могут к нему подключиться (только учителя и только по запросу). ИКТ используются только для презентаций урока.

Рисунок 3. Уровни развития информационной образовательной среды

Учителя практически не используют работу с электронными устройствами на уроках, домашние задания в некоторых случаях выполняются с помощью сервисов интернет (как правило, индивидуально и, как правило, это в основном агрегаторы задач).

Этапы реализации программы

Для оценки эффективности программы мы оцениваем динамику развития ИКТ-компетентности по выделенным показателям за короткий промежуток времени, что снижает вероятность развития ИКТ-компетентности с помощью внешних факторов и позволяет говорить о вкладе программы в изменение ИКТ-компетентности педагога.

1 Этап. Оценка текущего уровня ИКТ-компетентности. Май 2017. Один из ключевых этапов - прохождение тестирования ИКТ-компетентности. В рамках подготовки был создана диагностическая анкета, позволяющая довольно точно определить, уровень ИКТ-компетентности педагога, с большим количеством открытых вопросов для подтверждения необходимых навыков (открытые вопросы требовали указать некоторые конкретные задачи, которые были решены, как подтверждение владения различного уровня ИКТ-компетентностью). Данный опрос занимал около 60 минут времени и был довольно подробным. Но этот инструмент был отклонён, поскольку он занимал значительное количество времени и был ориентирован на значительно выше в среднем уровень ИКТ-компетентности педагогов. В связи с чем, диагностическая анкета была значительно изменена: по количеству и качеству вопросов.