3. Критическая составляющая (30 баллов):
- собственная позиция: наличие четко сформулированной позиции во введении и заключении, целенаправленное и последовательное доказательство своей позиции за счет адекватного отбора и логической организации информации, использования убедительных аргументов;
- объективность текста: отсутствие предвзятости, безапелляционных утверждений, избыточной и/или неуместной оценочности.
Для проверки полноты этой системы оценочных критериев и их релевантности поставленным исследовательским задачам были проанализированы еще две системы оценки академического письма: шкала MASUS (Measuring the Academic Skills of University Students), разработанная специалистами Сиднейского университета в 2007 г. [14], и критерии оценки академических текстов для международных магистерских программ, предлагаемые Европейским Союзом в рамках системы общеевропейских компетенций владения иностранным языком (Common European Framework of Reference) [7].
Шкала MASUS включает в себя следующие оценочные показатели:
1. Использование источников: их релевантность и достаточное количество, визуализация и адекватная интерпретация данных, интеграция фактических данных в текст, отсутствие плагиата.
2. Структура и развитие текста: фокус, наличие грамотных и структурированных тезисов, авторская критическая оценка, релевантность подтверждающих фактов, наличие логического заключения.
3. Стиль: адекватные средства модальности, когезия, метафоры, релевантный вокабуляр.
4. Грамматика: грамотно составленные сложносочиненные предложения, правильное употребление времен глагола, согласование по числу и т. д.
5. Оформление: отсутствие орфографических ошибок, «читабельность», деление текста на абзацы.
Критерии оценки академических текстов, предложенные ЕС, в обобщающем виде выглядят следующим образом:
1. Релевантность содержания: соответствие теме, целям и задачам, фокус, достаточная детализация, широкий спектр рассматриваемых вопросов, качественная аргументация.
2. Использование источников: связность и интегрированность цитат в общий текст, уместность цитат, отсутствие плагиата, оформление источников в соответствии с установленными требованиями.
3. Организация текста: четкое и понятное изложение идей, логика изложения, деление текста на абзацы, наличие вступления и заключения, следование конвенциональным нормам профессионального дискурса.
4. Когезия и когерентность: лексические и смысловые повторы, слова- связки, цепная связь, текст легко читается.
5. Языковая точность: отсутствие ошибок, уместность лексики, стиля и регистра, учет целевой аудитории.
6. Качество оформления: оформление текста, таблиц и рисунков с соблюдением установленных требований.
Сравнительный анализ различных систем оценки академического письма показал, что все они учитывают такие основные показатели, как структурированность текста, ясность, последовательность и связность изложения, тщательная работа с источниками, учет целевой аудитории и грамотное оформление. При этом явным преимуществом оценочной шкалы И. Б. Короткиной является то, что она максимально детализирована, учитывает множество факторов и максимально воплощает в себе системную триаду любого текста «автор - текст - аудитория». При этом практическое применение этой шкалы для оценки студенческих статей выявило ряд ее ограничений: детализация приводит к большой трудоемкости использования, а некоторые предложенные критерии не до конца понятны или с трудом поддаются количественной оценке (например, «адекватное использование информации», «отсутствие банальностей и прописных истин», «понимание того, к кому обращен текст», «уважение к читателю»). Кроме того, удельный вес заявленных критериев также вызывает некоторые вопросы: в частности, самой важной составляющей концепции грамотности Б. Грина, которой следует И. Б. Короткина, является критический аспект, но в предложенной оценочной шкале наибольший совокупный удельный вес имеют операциональные критерии. Для того чтобы нивелировать этот последний фактор и сделать сам процесс оценивания более удобным, в ходе исследования использовалась не балльная система, а дихотомическая шкала измерений, с помощью которой фиксировалось общее соответствие или несоответствие анализируемой студенческой статьи каждому из критериев.
Для максимально полной оценки исходная шкала была также допол нена следующими критериями: наличие полноразмерной структурированной аннотации, наличие ключевых слов, объем статьи (достаточный для раскрытия темы), наличие основных структурных элементов (рубрикация), наличие слов - маркеров для отслеживания логической структуры текста, четкое указание на цель исследования (исследовательский вопрос), корректно оформленный список литературы, ссылка на предыдущие работы в этой области и их анализ (источники), расшифровка, пояснения или определения отдельных специальных терминов и понятий, адекватная и релевантная визуализация представленных данных, отсутствие «псевдонаучного» стиля (канцелярит, избыточная клиши- рованность текста). Итоговый инструмент оценивания представлен в таблице 1.
Таблица 1
Шкала для оценивания студенческих научных статей в контексте академической грамотности
Table 1
Criteria for assessing students' research articles in terms of academic literacy
|
Критерии оценки студенческих статей |
|
|
1. Операциональная составляющая |
|
|
1.1. Структура текста |
|
|
Наличие полнообъемной структурированной аннотации |
|
|
Наличие ключевых слов |
|
|
Объем, достаточный для раскрытия темы |
|
|
Наличие основных структурных элементов (рубрикация) |
|
|
Корректно оформленный список литературы |
|
|
Введение должно содержать: - предложение для привлечения внимания (интрига); - указание на проблему (фокус); - обоснование актуальности; - указание на цель исследования (исследовательский вопрос); - четкий основной тезис; - рассматриваемые аспекты (покрытие предметной области) |
|
|
Каждый абзац основной части должен содержать: - заглавное предложение (тема + контрольная мысль); - фактическую поддержку контрольной мысли; - заключительное предложение (переход к следующему абзацу) |
|
|
Заключение должно содержать: - краткое перечисление выводов основной части; - основной вывод в соответствии с тезисом; - рекомендации и (или) оценку и (или) констатирующий вывод |
|
|
1.2. Язык |
|
|
Синтаксис должен отвечать следующим требованиям: - четко выстроенные (легко воспринимаемые) предложения с главными блоками; - отсутствие слияний, цепей и фрагментов; - логическая и синтаксическая связность (когезия/когерентность); - наличие слов-маркеров для отслеживания логической структуры текста. Отсутствие лексико-грамматических ошибок и погрешностей, затрудняющих восприятие |
|
|
2. Культурная составляющая |
|
|
Содержание предусматривает: - отбор достаточного количества фактического материала; - наличие ссылок на предыдущие работы в этой области и их анализ (источники); - использование / демонстрация фоновых и специальных знаний; - расшифровку / пояснение / дефиниции для специальных терминов и понятий (при необходимости); - адекватную и релевантную визуализацию представленных данных |
Адресация предусматривает:
- понимание того, к кому обращен текст;
- уважение к читателю;
- умение предусмотреть иную позицию (подход), предвидеть возражения Стиль предполагает:
- ясное, последовательное, связное выражение мыслей, краткость;
- отсутствие эмоциональных утверждений, свойственных публицистике;
- отсутствие разговорных оборотов, присущих неформальному общению;
- отсутствие «псевдонаучного» стиля (канцелярита, клише)
Критическая составляющая
Собственная позиция должна быть:
- четко выражена в тезисе;
- последовательно доказана в основной части;
- сформулирована в заключительном выводе (отношение к проблеме, ее оценка и (или) пути решения)
Целенаправленное доказательство собственной позиции должно строиться на основе:
- логики;
- убедительных аргументов;
- адекватного использования информации Объективность текста подразумевает:
- нейтральность;
- отсутствие предвзятости, бездоказательных и безапелляционных заявлений;
- отсутствие «общих мест», банальностей и прописных истин
Результаты исследования
Анализ студенческих статей, опубликованных в двух номерах журнала «StudArctic Forum», показал, что в целом они не соответствуют большей части используемых в исследовании критериев академической грамотности. В обобщенном виде результаты анализа представлены в таблице 2.
Таблица 2
Результаты оценки студенческих научных статей с точки зрения соответствия критериям академической грамотности
Table 2
Results of assessing the quality of students' research articles using the academic literacy criteria
|
Соблюдение студентами критериев академической грамотности, % |
|||
|
Критерий оценки |
2016 г. (N = 10) |
2022 г. (N = 15) |
|
|
Наличие ключевых слов |
10* (100) |
15 (100) |
|
|
Корректно оформленный список литературы |
8 (80) |
15 (100) |
|
|
Формулировка проблемы / фокус статьи |
8 (80) |
13 (87) |
|
|
Актуальность исследования |
5 (50) |
12 (80) |
|
|
Лаконичность и четкость предложений |
6 (60) |
13 (87) |
|
|
Отсутствие ошибок |
6 (60) |
12 (80) |
|
|
Отбор материала для статьи |
5 (50) |
10 (67) |
|
|
Демонстрация фоновых и специальных знаний |
6 (60) |
10 (67 |
|
|
Отсутствие эмоций и разговорности |
10 (100) |
14 (93) |
|
|
Нейтральность текста |
10 (100) |
15 (100) |
|
|
Отсутствие безапелляционных утверждений |
6 (60) |
13 (87) |
|
|
Отсутствие «общих мест» |
7 (70) |
12 (80) |
|
|
Отсутствие канцелярита |
9 (90) |
15 (100) |
|
|
Несоблюдение студентами критериев академической грамотности, % |
|||
|
Критерий оценки |
2016 г. (N = 10) |
2022 г. (N = 15) |
|
|
Качество аннотации |
0 |
8 (53) |
|
|
Достаточный объем статьи |
2 (20) |
11 (73) |
|
|
Цель исследования / исследовательский вопрос |
2 (20) |
8 (53) |
|
|
Структурное деление (рубрикация) |
1 (10) |
4 (27) |
|
|
Деление на абзацы, соблюдение структуры абзаца |
0 |
6 (40) |
|
|
Наличие заключения |
1 (10) |
12 (80) |
|
|
Логическая и синтаксическая связность |
0 |
3 (20) |
|
|
Обзор литературы (источников) |
0 |
8 (53) |
|
|
Расшифровки, пояснения, дефиниции для терминов |
1 (10) |
6 (40) |
|
|
Визуализация |
0 |
4 (27) |
|
|
Адресация (обозначение целевой аудитории) |
2 (20) |
5 (33) |
|
|
Логически связное выражение мыслей |
0 |
0 |
|
|
Наличие авторской позиции |
0 |
3 (20) |
|
|
Доказательство собственной позиции |
0 |
0 |
Примечание'. Числа в ячейках таблицы указывают количество статей, соответствующих или не соответствующих указанному критерию оценки (например, «10 из 10» или «0 из 10»). Приведенные в скобках проценты обозначают долю статей, в которых соблюдался или не соблюдался указанный критерий, от общего числа проанализированных студенческих публикаций.
Таким образом, анализ студенческих научных статей, опубликованных c разницей в шесть лет, показал, что относительный прогресс был достигнут по таким показателям, как качество аннотаций, достаточный объем статьи, наличие рубрикации (структурное деление статьи), четкая формулировка цели исследования, наличие заключения, обзор литературы (источников), наличие расшифровок, пояснений или определений для специальных понятий и терминов, а также визуализация данных. При этом не было достигнуто значительного улучшения по таким критериям, как наличие четко сформулированного введения и заключения, обоснование актуальности исследования, наличие четкого исходного тезиса, достаточное покрытие предметной области (перечень рассматриваемых аспектов), деление на абзацы и соблюдение структуры абзаца, логическая и синтаксическая связность, четкая адресация статьи (понимание и указание целевой аудитории), наличие авторской позиции и ее аргументация.
Интерпретация результатов и выводы
В результате анализа студенческих научных статей подтвердилась исходная рабочая гипотеза о том, что рассмотренные статьи не в полной мере соответствуют критериям академической грамотности. При этом имеются определенные предпосылки для качественной публикационной деятельности студентов. Во-первых, авторы исследуемых статей продемонстрировали умение отбирать для своих работ достаточное количество релевантной фактической информации, что позволяет предположить наличие у них сформированного оценочнопоискового компонента информационной компетенции. Таким образом, при организации целенаправленной работы по повышению качества студенческих научных публикаций важно будет сосредоточиться на аналитико - преобразующем компоненте данной компетенции, который отвечает за интерпретацию, преобразование информации и ее эффективное представление [1]. Вторым большим плюсом является отсутствие в студенческих научных публикациях канцелярита и относительно простой синтаксис. Это может означать, что студенты не ориентируются на «псевдонаучный» стиль изложения и стараются донести свои мысли до читателя максимально четко и понятно.