Аналитическая справка: Кардинальное изменение практики использования ИКТ в первой группе по результатам работы программы показывает, насколько значительные изменения происходят в практиках обучения. После окончания работы программы эти изменения «возвращаются» к исходному уровню, но у очень незначительного количества учителей. Возможно, такой значительный эффект связан с тем, что в процессе обучения были созданы поддерживающие каналы коммуникации, которые участники группы продолжали использовать после окончания программы. Важность наличия таких каналов коммуникации подтверждают результаты второй группы.
Аналитическая справка: для данной группы характерен незначительный «откат» к предыдущему уровню. Данная диаграмма показывает, какие элементы урока были значительнее изменены программой. Неожиданный эффект программы: демонстрация нового материала (презентация) сначала незначительно увеличивается, а затем снижается с течением времени. Т.е. мы явно видим не только изменение в использовании ИКТ, но и изменение в педагогических технологиях, применяемых учителями. Предполагая, что учителям доступны материалы для презентации они ориентируются на иные способы работы с новым материалом, нежели подача его на уроке. Кроме того, если все критерии немного опускаются с течением времени, то единственный показатель «Повторение» растёт. Это говорит о том, что задания для отработки материала на высоком уровне сложности учителя предпочитают предлагать в электронном варианте. Для детального изучения этого предположения необходимо дополнительное исследование.
3.2 Результаты самооценки
Аналитическая справка: на основе ответов для каждого участника группы материалы, предоставленные в ходе обучения (или их часть была не знакомой). Что позволяет сделать вывод, что материалы, подобранные для работы являются актуальными на данный момент.
Аналитическая справка: этот вопрос является ключевым, поскольку раскрывает не только знаниевый компонент, но и основное: условия работы позволяют реализовывать данные практики. Они в достаточной мере освоены, чтобы не отнимать слишком много времени при подготовке или освоении.
Аналитическая справка: нет ни 1 участника, указавшего ответ менее 50%. Это значит, что задачи, которые позволяют решать предложенные в курсе методики, занимают достаточно большое количество времени, что означает их интенсивное использование.
Аналитическая справка: Все участники программы определили соответствие программы успешной работе на 70 и более процентов. При этом наиболее частые ответы - 90% и 80%. Т.е. программа попала в ожидания и позволяет решать задачи настолько эффективно, насколько это видят возможным участники программы.
Аналитическая справка: как минимум 30% информации участники начали применять в своей работе. Это довольно низкий показатель для данной программы, но показатели ниже 50% отметило 6 человек из обеих групп, это 18% выборки. Сопоставляя данные этого вопроса и предыдущих можно сделать вывод, что есть некоторые практики, которые участники группы интенсивно используют в своей работе, а часть содержания программы не используется в работе как минимум данной группой. Для того, чтобы точно определить, какие разделы программы и почему не настолько включены в деятельность этих 18% необходимо провести дополнительно анкетирование или изменить включить новые вопросы в систему оценивания.
Аналитическая справка: дизайн программы ориентирован на выполнение заданий и решение задач своей профессиональной деятельности. Результаты этого опроса подтверждают, что принцип немедленного применения на практике в программе реализован.
Аналитическая справка: все респонденты ответили, что имели определённые ожидания от программы. В рамках предварительной оценки ИКТ-компетентности педагогов центра учителей познакомили с тем, какие задачи решают ИКТ. В информационном объявлении о программе были описаны основные задачи, поэтому пул ожиданий от программы был сформирован самим входом в программу.
Аналитическая справка: такой высокий процент тех, кто определил, как будет применять эти знания позволяет говорить определяется следующими составляющими дизайна программы: 1) в рамках обучения все выполняют задания в своей профессиональной деятельности; 2) поскольку программа внутрикорпоративная, при возникающих у учителя вопросах он обращается к тем, кто проходил курс с ним или куратору курса.
Аналитическая справка: поскольку программа ориентирована на конкретного заказчика и создавалась под те условия, в которых работают учителя, другие результаты показали бы, что условия работы учителей не учтены или мало изучены.
Оценка индекса лояльности NPS (Net Promoter Score)
В итоговую анкету по последнему модулю был включен дополнительный вопрос «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».
Таблица 7. Результат опроса для оценки индекса NPS
|
Категория |
Количество |
|
|
«Критики». В эту категорию так же включены 4 человека, которые прервали обучение на программе, они не участвовали в опросе, для них был определён самый низкий балл (1) |
5 |
|
|
«нейтрально» |
7 |
|
|
«промоутеры» |
18 |
NPS = ((18-5) / 30) * 100% = 43, (3)
Насколько этот показатель высок и объективен, на данный момент сказать сложно. То, что он положительный говорит о том, что следующий набор педагогов для прохождения программы сформировать будет легче, поскольку учителя будут слышать о программе положительные отзывы.
По данному показателю можно косвенно судить о том, что программа «попала в ожидания», и, возможно предвосхитила ожидания учителей.
Learning Аnalytics
Аналитика по работе с ресурсом: время, активность, количество посещений, время посещений эти данные позволяют сделать программу эффективнее. В результате использования сервиса Google Analytics удалось определить:
Таблица 8. Использование Google Analytics для оценки работы участников программы
|
Показатель |
Параметр |
Значе-ние |
Вывод/использование |
|
|
Наиболее времязатратные модули. Самые длительное посещение сайта (По датам определяем модуль.) |
Средняя длительность сеанса |
9,4 часа |
Насколько нагрузка по времени освоения модуля соответствует заявленной в программе. В 2х модулях наблюдалось значительное увеличение (9,4 часа по сравнению с указанной: 6 часов). Результат: изменить формат работы в модуле: убрать 1 из заданий или упростить. |
|
|
Наименее времязатратные модули Наименьшее среднее время работы с сайтом. |
Средняя длительность сеанса |
3,5 часа |
Данный показатель не является значительным, поскольку указанное время на 30 минут меньше заявленного и тем не менее, в данном модуле необходимо пересмотреть задания на предмет усложнения или включить еще 1 задание дополнительно. |
|
|
Среднее время работы с сайтом (за 1 посещение) |
Время посещения 1 участника |
Около 1,5 часов. |
В среднем на задания необходимо закладывать не более 1,5 часов (включая изучение материалов по теме) |
|
|
Обращение к сайту программы по завершению курса |
Посещаемость сайта |
Количество пользователей |
Сайт продолжает быть востребован педагогами не только как площадка для обучения, но и как «точка» входа (каталог) необходимых / применяемых в работе ресурсов. |
Результаты программы
На основе результатов оценки эффективности программы можно сказать, что программа значительно повышает ИКТ-компетентность педагога (на основе анализа динамики ИКТ-компетентности педагога, данной в Главе 3, раздел «Описание результатов и эффектов программы»), а так же даёт пролонгированный результат (на основе анкетирования учащихся, работающих с учителями, прошедшими программу). Т.е. программа даёт принципиально важный результат: изменение педагогической практики, что и являлось целью программы.
Эффекты программы
Подтверждение принципиальной важности канала коммуникации. Для усиления эффекта программы необходимо сохранять канал коммуникации, который позволяет в период после обучения поддерживать высокий уровень работы. В дальнейшем необходимо искать такие формы работы, которые позволят поддерживать такое взаимодействие учителей.
Усиление горизонтальных профессиональных связей в группе учителей, принимавших участие в программе. Для оценки этого эффекта на группах, прошедших программу не проводилось дополнительно исследования. Такие выводы сделаны на основе того, насколько активно учителя используют общий чат группы для информирования о мероприятиях, интересных публикациях, задании вопросов, обсуждение методических решений использования ИКТ и не только.
Дополнительный запрос на проведение мастер-классов по интересующих педагогов темам, сформулированным самими участниками программы к другим участникам и эксперту курса.
Практика использования внутренних возможностей обучения, как эффективная и удобная в первую очередь, для педагогов, получила распространение среди тех, кто не проходил курс, но активно развивается и хотел получить доступ к информации.
Обобщая вышеизложенное, можно сказать, что использование данной формы оказало для организации более значимый эффект, нежели повышение уровня ИКТ-компетентности для отдельных учителей. Использование собственных ресурсов для развития и самообучения, усиление профессиональных горизонтальных связей приводит к первым необходимым условиям для развития организации как самообучающейся.
Заключение
Предпроектное исследование выполнено в полном объёме.
Проект реализован полностью. Цель проекта достигнута.
На основании проедпроектного исследования были сделаны следующие выводы:
1. Ключевое отличие моделей ИКТ-компетентностей педагогов заключается в том, к какому уровню можно отнести понимание использования ИКТ в образовательном процессе. В выбранных моделях прослеживается эволюция подходов к использованию ИКТ в образовательном процессе.
2. Из выбранных моделей ИКТ-компетентности педагогов более всех отвечает целям исследования модель ИКТ-компетентности педагогов ICT CFT UNESCO. Модель UNESCO ICT-CFT (2011) определена рабочей, поскольку отвечает следующим критериям: ориентирована на изменения образовательного процесса; позволяет оценивать не столько техническую компетентность, сколько изменения в педагогических практиках; позволяет выстраивать индивидуальные и групповые стратегии развития ИКТ-компетентности педагогов.
3. Произведён анализ существующих систем оценки ИКТ-компетентности педагогов, базирующихся на основе модели UNESCO ICT-CFT. При этом существует несколько проблем в системе оценивания ИКТ-компетентности педагогов. Практически все системы оценивания имеют в своей основе тест с довольно общими закрытыми вопросами. Это приводит к вопросам достоверности оценки, особенно в ситуациях оценки с дополнительными смыслами (например, наличие оценки ИКТ-компетенций позволит легче пройти аттестацию). Большинство систем оценивания не предполагают возможности задать вектор развития, что для педагогов, проходящих оценивание является одним из важнейших результатов.
4. На данный момент инструменты оценки ИКТ-компетентности работают с индивидуальными результатами и не дают обобщенной информации для данной группы интересантов. Хотя, наиболее общие результаты - по уровню компетенций (общему набранному баллу) могут дать представление не только о наиболее квалифицированных в использовании ИКТ учителях, но и дать информацию об учителях, готовых повышать свою ИКТ-компетентность, если данная практика покажет свои результаты (ранние и поздние последователи по концепции Роджера[9]). Это позволило бы объективно формировать выборку учителей, которым рекомендовали пройти программу повышения ИКТ-компетентности.
5. На основе работ в области андрагогики (Fisher T.D. [7, стр. 9], Knowles M. [9, стр. 15], Змеева С.И. [27, стр. 28]) были выработаны принципы программы, которые, совместно с условиями и запросом стейкхолдеров определили выбор формата программы: «Внутрикорпоративная образовательная программа» из нескольких альтернатив.
В рамках построения внутрикорпоративной программы повышения квалификации были решены следующие задачи:
4 Выявление запроса стейкхолдеров: 3 группы участников образовательного процесса (ученики, учителя, администрация). Для каждой группы была построена методика выявления запроса и проведен анализ результатов, обобщенный в таблице 5, стр. 45 и сформированный в рамке ICT CFT в таблице 6, стр.
5 Определение образовательных результатов программы. На основе запроса стейкхолдеров, определения текущего уровня ИКТ-компетентности педагогов, а так же рамки ICT CFT. Образовательные результаты программы сформулированы в виде компетенций.
6 Конструирование образовательной программы «от результата». Выделенные компетенции разложены на конкретные действия, на основании которых можно утверждать о проявлении той или иной компетенции в рамках работы в программе. В каждом модуле определены действия и уровень их проявления, а так же роль, в которой участник программы проявляет свой уровень овладения данной компетенцией (ученик - знакомство, отработка, педагог - конструирование задания, оценивание). Именно на основе этих компетенций отобран образовательные контент, были подготовлены задания.