Главная Обратная связь

Дисциплины:






Оценивание (рейтинг, экспертная оценка, метод независимых судей)



 

К экспертной оценке как методу исследования обращаются, когда оценка того или иного качества, свойства, вероятности существования связи и т.п. нельзя оценить с помощью имеющихся средств, инструментов, методов. Тогда обращаются к признанным специалистам (одному, нескольким) в исследуемой области, их авторитетное мнение может служить ориентиром для оценки: «экспертные методы используют эвристические возможности человека, позволяя на основе знания, опыта и интуиции специалистов, работающих в данной области, получить оценку исследуемых явлений» [112, с. 13]. Отметим, что экспертная оценка как метод исследования отличается от экспертизы, как процедуры профессионального оценивания: последняя используется в производственной (не научной!) деятельности и не предполагает получения научных результатов.

В.С. Черепанов, приводит следующую характеристику экспертных методов, которые можно применять в области педагогики (те же характеристики присущи экспертной оценке и в психологии):

1. Индивидуальная экспертная оценка (беседа исследователя с экспертом, который отвечает на заранее сформулированные вопросы или анкету).

2. Морфологический экспертный метод (в объекте исследования выделяются основные структурные элементы и рассматриваются многочисленные комбинации элементов, взятых в одном из своих зафиксированных возможных состояний).

3. Оценивание (рейтинг) (метод косвенного наблюдения, состоящий в изучении явления через оценку его «судей-наблюдателей»).

4. Метод самооценки (оценка исследуемым субъектом по шкале самооценки своих способностей).

5. Метод "педагогического консилиума" (разновидность методов оценивания и самооценки, предусматривающая коллективное обсуждение результатов исследования).

6. Метод групповых экспертных оценок (коллективная экспертная оценка, метод Делфи).

Наиболее комплексным и объективным из методов является метод групповой экспертной оценки (ГЭО), так как «считается, что когда оценку дает не один, а несколько экспертов, то "истинное" значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. "обобщенное" коллективное мнение более достоверно» [112, с.15]. При проведении ГЭО проводится индивидуальный опрос экспертов на основе специально разработанных анкет. После статистической обработки результаты могут быть сообщены экспертам, чтобы они могли скорректировать свои прежние оценки. Процедура может повторяться несколько раз «с целью сужения диапазона оценок» [112, с.15], но при исследовании сложных явлений и процессов можно ограничиться простыми усредненными показателями, разработанными при организации экспертизы. При проведении экспертной оценки инноваций ГЭО является наиболее пригодным методом.



Специалисты отмечают, что «экспертные методы не являются формальными в строгом смысле слова. Здесь остается широкое поле для творческой импровизации, например, при составлении анкет, где опыт и интуиция преобладают над алгоритмической ясностью. Результаты работы группы неизбежно будут содержать отпечаток субъективизма, вносимого как самими экспертами, так и организаторами экспертного опроса, что является неизбежной платой за возможность получить количественные оценки там, где раньше ограничивались лишь качественным описанием» [47].

Обобщение опыта

Метод чаще всего применяется в педагогике, под названием «обобщение передового педагогического опыта» (ППО). С его помощью изучается сложившаяся (индивидуальная, коллективная) практика обучения и воспитания, которая содержит «элементы творческого поиска, новизны, оригинальности» [92, с. 7].

Применение метода обусловливается необходимостью выявления таких характеристик опыта педагогической деятельности, которые могут улучшить педагогическую практику в целом: способы преодоления трудностей и устранения недостатков, распространение новых методов, форм организации, путей технологизации учебно-воспитательного процесса, оптимизация внедрения нового содержания образования (учебных планов и программ, учебников, использование средств информационных и телекоммуникационных технологий и др.). Объектами обобщения опыта могут быть как отдельные педагоги, так и педагогические коллективы, коллективы учреждений образования, массовые процессы изменений в образовании (массовый опыт).

Обобщение ППО осуществляется после предварительного установления наличия определенных показателей, признаков, которые свидетельствуют о том, что данный опыт действительно является передовым. К признакам передового педагогического опыта всего относят:

1. Соответствие содержания опыта социальному заказу;

2. Устойчивые положительные результаты;

3. Оптимальное расходование сил и средств;

4. Наличие элементов новизны (см. 92, с. 7-9);

5. Стабильность результатов в применении опыта

6. Технологичность (возможность применения другими практиками)

В ходе обобщения ППО используются как эмпирические (наблюдение, опрос, изучение следов деятельности и др.), так и теоретические (анализ, синтез, моделирование и др.) методы. Результатом обобщения могут быть как тексты научно-методического и научного характера (методические рекомендации, статьи, монографии, научные отчеты и др.), так и иные продукты (фильмы, компьютерные программы и др.).

 

Порядок описания ППО:

1. Какие педагогические задачи решает педагог или коллектив.

2. Характеристики деятельности педагога (ов).

3. Характеристики деятельности ученика (ов).

4. Средства и материальное оснащение деятельности.

5. Внешние условия и ресурсы.

6. Результаты обучения и воспитания.

7. Оценка значимости опыта (на основе анализа новизны, связи с психологическими и педагогическими теориями, имеющимся практическим опытном).

8. Перспективы и ограничения применения опыта, рекомендации по использованию.

Обобщение опыта – метод, который можно отнести по преимуществу к качественным. Его планирование и осуществление требует составления подробного плана, тщательной организации получения необходимой информации (в ее ходе чаще всего приходится возвращаться к отдельным сторонам опыта, уточнять, изменять представления), высокого уровня компетентности при интерпретации результатов.

Тестирование

Тестом (англ. test–испытание, проба)называют кратковременное испытание, с помощью которого измеряется уровень развития или степень выраженности некоторых качеств человека – процессов, свойств, состояний, отношений, знаний, умений, отношений.

Следует различать психологические и педагогические тесты. Если в психологии с их помощью измеряются психические свойства и/или совокупности психических свойств личности, психические состояния, отношения (включая установки и ценности) отдельных людей, групп, общностей, то в педагогике – знания, умения, навыки, установки, которые должны являться результатами процессов обучения и воспитания.

Тесты отличает строгая формализованность содержания и процедур обработки получаемой информации и проверочных процедур самого теста.

Так, обязательно установление валидности теста (от франц. valide–законный, действительный) – под которой понимается определение того, насколько верно определена область исследуемых явлений и насколько точна процедура измерений данной области. В качестве основных видов выделяют конструктную (степень репрезентации исследуемого явления в результатах диагностических процедур), критериальную (соответствие определенного круга критериев измеряемого явления непосредственным мерам исследуемого качества) и лицевую (очевидность для испытуемого условий эксперимента или теста) валидность. Упоминаются и другие виды валидности – содержательная (степень репрезентативности измеряемых явлений области исследуемой области психологических или педагогических явлений), текущая (способность измерений отражать различия рассматриваемого явления у исследуемых), прогностическая (насколько исследуемое качество сохраняется у исследуемых по истечении некоторого времени) и др.

Необходимо также определение надежности теста, которая является одним из критериев его качества. Надежность выражает не только точность, но и устойчивость результатов теста по отношению к действию посторонних факторов, а также его внутреннюю согласованность (насколько каждый элемент связан с общим содержанием теста, насколько он измеряет предмет теста, насколько противоречит другим элементам теста) и определяется путем сравнения результатов, получаемыхв тесте разными диагностами, применением теста в идентичных условиях, повторением теста после истечения определенного промежутка времени и др. В отечественной психологии надежность часто измеряют через коэффициент надежности (характеризует измерительный инструмент), коэффициент стабильности (характеризует стабильность измеряемого свойства) и коэффициент константности (характеризует влияние личности экспериментатора).

 





sdamzavas.net - 2018 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...