о тестировании
Mar. 27th, 2013 09:24 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
avvaTo Really Learn, Quit Studying and Take a Test
Очень интересная статья о том, как улучшить усваивание и сохранение материала в памяти. В их эксперименте студенты читали небольшой отрывок текста, а потом либо 1) перечитывали его еще несколько раз; 2) рисовали диаграммы концепций, о которых текст говорит, и как они друг с другом связаны; 3) "retrieval testing" - пытались пересказать своими словами на бумаге все, что они помнят из текста. Когда через неделю им устроили экзамен на то, что они помнят из текста, те, которых просили пересказать своими словами, сделали это намного лучше остальных. Причем этого никто не ожидал, т.к. принято считать, что рисовать диаграммы лучше всего помогает запомнить.
Основная мысль - что проверить себя, пройти тест - помогает сохранить материал в памяти больше, чем зубрить или чем внимательно, "с пониманием", изучать материал. Почему - никто точно не знает.
Я хочу предложить следующую (неоригинальную) идею: то, что помогает знаниям "укорениться" в памяти, это стрессовая ситуация во время теста/экзамена/контрольной работы. Причем обязательно должен быть элемент обратной связи: оценка или место в соревновании. Должна быть борьба за что-то, и в процессе этой борьбы, в состоянии стресса - попытка вспомнить материал.
Предположим, эта идея верна. Что из этого следует в отношении широко распостраненных способов помочь ученику закрепить информацию в памяти? Несколько примеров:
1. Сетевые курсы по образцу Coursera предлагают мини-опросы о только что пройденном материале каждые 5-10 минут. Эти опросы помогают проверить, что ученик понял материал, но абсолютно не помогают закрепить в памяти.
2. Домашние задания помогают (особенно когда у них есть крайний срок подачи), но стресс, который они создают, необязательно напрямую связан с материалом, который надо запомнить. Часто домашние задания решаются с помощью мета-догадок, подстановок наугад, итп. Часто они не требуют для решения хорошего владения всем материалом. То же самое касается экзаменов и контрольных работ, особенно таких, где нужно выбирать один вариант ответа из нескольких.
3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).
4. "Лучший способ выучить что-то - попробовать научить другого". Когда я старался организовать какой-то материал, который сам знал слабо, в лекцию для других, я обычно намного лучше усваивал его сам. Я думал, это просто из-за того, что в процессе подготовки я тщательно по нему прохожусь, разбираю, сортирую, предвосхищаю вопросы итд. Но, может быть, за это закрепление следует благодарить состояние стресса - я опасаюсь, что у меня не выйдет, что не смогу хорошо объяснить, не смогу ответить на вопросы.
5. Spaced repetition, карточки в стиле Supermemo, Anki идр. Почему такие карточки помогают - потому что, как пишут авторы программ, они напоминают нам об информации как раз в тот критический момент, когда мы ее начинаем забывать? А может, это (главным образом?) потому, что они создают стрессовую ситуацию, когда нужно вспомнить, что написано на обратной стороне карточки, и сделать поменьше "ошибок"? Сравним карточки, которые просто повторяют информацию, с такими, которые задают вопрос на одной стороне, и только после того, как отвечаешь на него в уме, смотришь на правильный ответ. Если основная идея выше верна, то второй формат будет намного более успешным, чем первый. (можно возразить, что второй формат необходим для алгоритма spaced repetition, потому что надо знать, когда я неправильно отвечаю, чтобы посчитать, когда мне в следующий раз предложить эту карточку. Это верно, но все равно два формата можно сравнить, напр. в пачке из 20 карт на одну тему первые 5 можно представить как вопрос/ответ, чтобы оценить, насколько я помню материал, а оставшиеся 15 либо как вопрос/ответ, либо как просто ответ).
Почти все эти пункты, кажется, можно проверить эмпирически.
P.S. Мета-замечание. Я вначале написал эту запись на английском языке, комментарием на другом форуме. Сейчас, когда переводил ее на русский, ужасно с этим замучился. Кучу слов не знаю как сказать, кучу предложений надо по-другому вообще составить, а то звучит нелепо итд. В итоге это заняло у меня, полагаю, в два раза больше времени, чем если бы я ее изначально по-русски написал, и все равно, когда перечитываю, кажется очень коряво написанным.
Очень интересная статья о том, как улучшить усваивание и сохранение материала в памяти. В их эксперименте студенты читали небольшой отрывок текста, а потом либо 1) перечитывали его еще несколько раз; 2) рисовали диаграммы концепций, о которых текст говорит, и как они друг с другом связаны; 3) "retrieval testing" - пытались пересказать своими словами на бумаге все, что они помнят из текста. Когда через неделю им устроили экзамен на то, что они помнят из текста, те, которых просили пересказать своими словами, сделали это намного лучше остальных. Причем этого никто не ожидал, т.к. принято считать, что рисовать диаграммы лучше всего помогает запомнить.
Основная мысль - что проверить себя, пройти тест - помогает сохранить материал в памяти больше, чем зубрить или чем внимательно, "с пониманием", изучать материал. Почему - никто точно не знает.
Я хочу предложить следующую (неоригинальную) идею: то, что помогает знаниям "укорениться" в памяти, это стрессовая ситуация во время теста/экзамена/контрольной работы. Причем обязательно должен быть элемент обратной связи: оценка или место в соревновании. Должна быть борьба за что-то, и в процессе этой борьбы, в состоянии стресса - попытка вспомнить материал.
Предположим, эта идея верна. Что из этого следует в отношении широко распостраненных способов помочь ученику закрепить информацию в памяти? Несколько примеров:
1. Сетевые курсы по образцу Coursera предлагают мини-опросы о только что пройденном материале каждые 5-10 минут. Эти опросы помогают проверить, что ученик понял материал, но абсолютно не помогают закрепить в памяти.
2. Домашние задания помогают (особенно когда у них есть крайний срок подачи), но стресс, который они создают, необязательно напрямую связан с материалом, который надо запомнить. Часто домашние задания решаются с помощью мета-догадок, подстановок наугад, итп. Часто они не требуют для решения хорошего владения всем материалом. То же самое касается экзаменов и контрольных работ, особенно таких, где нужно выбирать один вариант ответа из нескольких.
3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).
4. "Лучший способ выучить что-то - попробовать научить другого". Когда я старался организовать какой-то материал, который сам знал слабо, в лекцию для других, я обычно намного лучше усваивал его сам. Я думал, это просто из-за того, что в процессе подготовки я тщательно по нему прохожусь, разбираю, сортирую, предвосхищаю вопросы итд. Но, может быть, за это закрепление следует благодарить состояние стресса - я опасаюсь, что у меня не выйдет, что не смогу хорошо объяснить, не смогу ответить на вопросы.
5. Spaced repetition, карточки в стиле Supermemo, Anki идр. Почему такие карточки помогают - потому что, как пишут авторы программ, они напоминают нам об информации как раз в тот критический момент, когда мы ее начинаем забывать? А может, это (главным образом?) потому, что они создают стрессовую ситуацию, когда нужно вспомнить, что написано на обратной стороне карточки, и сделать поменьше "ошибок"? Сравним карточки, которые просто повторяют информацию, с такими, которые задают вопрос на одной стороне, и только после того, как отвечаешь на него в уме, смотришь на правильный ответ. Если основная идея выше верна, то второй формат будет намного более успешным, чем первый. (можно возразить, что второй формат необходим для алгоритма spaced repetition, потому что надо знать, когда я неправильно отвечаю, чтобы посчитать, когда мне в следующий раз предложить эту карточку. Это верно, но все равно два формата можно сравнить, напр. в пачке из 20 карт на одну тему первые 5 можно представить как вопрос/ответ, чтобы оценить, насколько я помню материал, а оставшиеся 15 либо как вопрос/ответ, либо как просто ответ).
Почти все эти пункты, кажется, можно проверить эмпирически.
P.S. Мета-замечание. Я вначале написал эту запись на английском языке, комментарием на другом форуме. Сейчас, когда переводил ее на русский, ужасно с этим замучился. Кучу слов не знаю как сказать, кучу предложений надо по-другому вообще составить, а то звучит нелепо итд. В итоге это заняло у меня, полагаю, в два раза больше времени, чем если бы я ее изначально по-русски написал, и все равно, когда перечитываю, кажется очень коряво написанным.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2013-03-27 07:33 pm (UTC)no subject
Date: 2013-03-27 07:36 pm (UTC)no subject
Date: 2013-03-27 07:43 pm (UTC)no subject
Date: 2013-03-27 08:11 pm (UTC)no subject
Date: 2013-03-28 10:23 am (UTC)no subject
Date: 2013-03-28 10:34 am (UTC)http://avva.livejournal.com/2588445.html?thread=94096413#t94096413
no subject
Date: 2013-03-27 07:34 pm (UTC)С полминуты пытался сообразить, является ли слово "вживую" опечаткой от "лживую" или от "вшивую" :).
no subject
Date: 2013-03-27 07:43 pm (UTC)Пересказ своими словами - лучший способ разложить по полочкам у себя в голове весь материал.
Диаграммы - гораздо хуже, так как в результате весь материал содержится на листе, а не в голове.
no subject
Date: 2013-03-27 07:47 pm (UTC)no subject
Date: 2013-03-27 07:51 pm (UTC)no subject
Date: 2013-03-27 09:40 pm (UTC)no subject
Date: 2013-03-27 07:51 pm (UTC)Для реального применения этого метода в преподавании есть несколько проблем. Первая - очень времязатратно, особенно на большие классы (ха, хорошо учиться вообще очень затратно по времени и усилиям, но все норовят сэкономить). А во-вторых, такой метод предполагает весьма выский уровень metacognition, который у многих отсутствует, особенно у тех, кому тяжело учиться. У таких людей есть реально проблемы понять, что знаю, и что не знаю. То есть грубо говря, двоешник потому и двоешник, что он даже не понимает того, что он двоешник, пока свою двойку не получит. И еще и будет недоумевать "за что?".
no subject
Date: 2013-03-29 10:31 am (UTC)no subject
Date: 2013-03-29 10:32 am (UTC)no subject
Date: 2013-03-27 07:54 pm (UTC)no subject
Date: 2013-03-27 08:07 pm (UTC)Но его примеры очень плохо ложились на показ на слайдах.
Тогда по его курсу была сделана разбивка по лекциям, а примеры брала из тьюториалов и других книг (тогда было по джаве полторы книги).
Курс по языку немыслим без задач и контрольных вопросов (вопросы имхо повышают связанность материалов в голове, без них часто после лекции у студентов знания в виде линейной цепочки, хоть оботсылайся к другим частям курса).
Когда составишь короткие, понятные, однозначно трактуемые вопросы, штук по 10 к теме, тему изучишь вдоль и поперек. Ибо просто пишутся только первые 3 вопроса.
Потом идут задачи. По теме. На закрепление. Втрое занятие - пакеты в джава, третье - наследование. Коллекций еще нет, а задачи на наследование и пакеты нужны. Интересные.
После того, как задачи сделаны (т.е. перелопачены горы уже предлагаемых задач из разных сборников и курсов), то банально объем впитанной информации гораздо больше.
Полученные знания у учителя просто вбиты в мозг.
Это изобилие знаний о языке никак не влияют на его способность разработать архитектуру сложного проекта. Да и простого - тоже.
Но ведь надо доработать курс и добавить паттерны, как же иначе объяснить, почему оставили возможность делать конструктор класса private...
То есть через пару итераций прочтения курса получаем на выходе человека, который немного умеет конструировать из кубиков.
Насчет стресса при преподавании - давайте сравним человека, который составляет такой курс в спокойной обстановке без лимита по времени "чтобы к вчера" и человека, который читает (стресс!!) по такому готовому курсу при одинаковом начальном уровне знания предмету.
Мне кажется, что незастрессеный составитель задач выучит материал лучше.
no subject
Date: 2013-03-27 08:19 pm (UTC)В нашем матклассе были лекции, через несколько дней после которых надо было сдать изложение преподавателю. Дополнительно явно поощряется вариант «научить другого»: изложение обязательно не только для тех, кто не понял лекцию, но и для тех, кто её пропустил.
no subject
Date: 2013-03-27 08:31 pm (UTC)И да, влияние стресса тоже, на мой взгляд, ощутимо.
no subject
Date: 2013-03-27 08:34 pm (UTC)Мы буквально десять минут назад с сотрудниками говорили про test taking и test preparation skills.
моя идея как раз как в заголовке статьи: не надо фокусироваться на чтении материала, а надо раз за разом проходить пробные тесты. В таком варианте стресса нет — ты тесты делаешь дома и сам для себя. А запоминание — еще как.
потому что суть именно в том, чтоб научиться выуживать из поданной информаци нужную (или запомнить только нужную, в случае с multiple choice) — структурировать и понимать главное. Это получается лучше, если пересказываешь текст или делаешь пробные тесты, чем если рисуешь диаграммы и пишешь конспекты.
no subject
Date: 2013-03-27 08:41 pm (UTC)+ Я не перевожу, если мне нужно написать на двух разных языках - просто пишу два текста. Тексты получаются несколько разными, но это им не вредит. :-)
no subject
Date: 2013-03-27 08:48 pm (UTC)Пересказ, объяснение ценно само по себе. Оно структурирует информацию и помогает выявить (и восполнить) пробелы, слабости, которые могут остаться незамеченными при пассивном восприятии, даже если рисуются диаграммы.
В частности, при восприятии лекции по программированию алгоритм может казаться понятным, и даже диаграмму можно нарисовать. А вот когда начинаешь сам его реализовывать, всплывают нюансы - то, что недопонял, чего не заметил.
Не удивлюсь, если нейрофизиологи скажут, что при пересказе и объяснении задействуются какие-то специальные зоны мозга, которые остаются пассивными при прослушивании лекции и рисовании диаграмм. :)
Конечно, эмоции тоже имеют ключевую роль в запоминании, но, как я понял, в приведённом тесте этот фактор не проверялся.
no subject
Date: 2013-03-27 09:04 pm (UTC)А вообще, наверно, форма оптимального усвоения зависит от типа личности и типа учебного материала. Программиста легче обучить повторением, финансиста - диаграммой, художника - рисунком; но бамбуковой палкой надо бить всех.
no subject
Date: 2013-03-28 05:08 am (UTC)no subject
Date: 2013-03-27 09:15 pm (UTC)стресс не есть хорошо для памяти
no subject
Date: 2013-03-27 09:20 pm (UTC)Roediger, H.L., & Karpicke, J.D. "The Power of Testing Memory: Basic Research and Implications for Educational Practice," Perspectives on Psychological Science, September 2006 (1): 181-210.
Если я не ошибаюсь, то этот так-называемый testing effect наблюдается даже в тех случаях, когда студентам не сообщают оценок. Хотя в большинстве експериментов, кажется, используется запоминание списков слов, так что успех часто очевиден.
no subject
Date: 2013-03-27 09:40 pm (UTC)no subject
Date: 2013-03-27 10:01 pm (UTC)Если же пересказ не сделать, то как часто бывает, ощущение что "понял" остается, а на самом деле еще больше логических звеньев забыто, настолько, что часто уже не возможно восстановить логическую цепочку. Пересказ сразу после лекции позволяет активизировать дополнительные логические звенья и таким образом добавляет "избыточность", получается что-то типа кода исправления ошибок.
no subject
Date: 2013-03-27 10:07 pm (UTC)Только не стресс
Date: 2013-03-27 10:26 pm (UTC)no subject
Date: 2013-03-27 10:38 pm (UTC)В этом смысле диаграммы хороши, но недостаточны. Они дают слишком упрощенную картину, не раскрывают всех деталей, больше похоже на мнемонические правила. А пересказ своими словами - это reinventing, идеи и образы становятся твоими, а все свое запоминать легче. Не говоря уже о более глубоком понимании, что еще важнее запоминания.
К техническим текстам, мне кажется, это относится в еще большей степени. Там еще важнее глубокое понимание и интимная связь с объектом изучения. Запоминать же, например, доказательства теорем невозможно, можно только их понимать, чтобы в будущем не вспоминать доказательства, а восстанавливать их самому (что гораздо проще).
Я, например, именно так и стараюсь все читать. Если я не почувствовал это своим; не считая, что разобрался более глубоко, чем написано в учебнике; и не считаю, что могу изложить материал лучше, чем в учебнике (включая мотивировки новых понятий, доказательства, примеры, взаимные связи) , то я не считаю, что я понял предмет изложения. Это, кстати, имеет отношение и к тому, что вы недавно писали про теорию музыку и желание написать свой учебник по этой теории. В идеале, такое желание должно появляться при изучении любого раздела, от математики и физики до любых других предметов. Тогда хороший шанс, что ты понял этот раздел, даже если сам учебник и не написал, а только обдумал в своих мыслях и записках как он мог бы выглядеть.
См. также http://web.stonehill.edu/compsci//History_Math/math-read.htm и http://math.stackexchange.com/questions/118158/do-you-prove-all-theorems-whilst-studying (в последнем обсуждении особенно см. http://math.stackexchange.com/a/118275).
no subject
Date: 2013-03-27 11:38 pm (UTC)2) Что бы лучше воспроизводить запомненное, надо тренировать воспроизведение запомненного.
К.О.
Если на экзамене дали бы задание "нарисовать схему", то лучше бы его сдали те, кто рисовал схему :)
Ещё может быть гипотеза, что кому-то лучше схема, а кому-то дискурс, и их доли не равны. Та группа людей, которая меньше - меньше вкладывает в общую статистику свой способ запоминания.
no subject
Date: 2013-03-28 12:15 am (UTC)Я уже давно выяснила, что если не заставлю себя растолковать новый кусок материала реальному или воображаемому коллеге или студенту, застряну на состоянии "ага, ну вроде понял". На lesswrong.com точно где-то была подробная статья об отличии этого состояния "легкого тумана, когда все более-менее ясно" от точки кристальной ясности.
Преподы, которые сами "щелкнули" на проблему, с легкостью могут опознать студента, у которого тоже случился щелчок. Буквально по рассказанному анекдоту или паре вопросов.
Студенты, которые "щелкнули" на проблему, способны разьяснить ее другому в доступной форме. И наоборот, слегка не докрутивший товарищ примется нести словесную пургу.
Так собственно я и работаю. Сперва осваиваю материал. Потом рисую схемку, тупо расскрашивая ее. Просто для того, чтобы оттянуть решение проблемы, просто рассматривая и крутя всю систему. Но при этом она должна быть вся перед глазами, желательно в виде концепта с подписями или майндмапа. После чего берусь ее растолковывать внутреннему студенту из анекдота в начале коммента. И кручу, пока не щелкнет.
Стресс имхо тут не при чем. Стресс лично мне помогает мобилизоваться, собраться, сфокусироваться на проблеме. Для этого в начале дня меня надо напугать слегка, сообщив, что на следущее утро кому-то это надо уже показать и растолковать, а конь не валялся.
Если стресса нет, я проделаю то же самое, но денька за три с перебивками на чай и жж, но результат будет тем же самым.
А вот в период кручения схемки и размышления над ней стресс дико вреден. Он отбивает способность думать в пять сторон сразу, ловя дальние ассоциации по внутренним ассоциативным сетям. Сильно усложняет тем самым подбор метафор. Более того, стресс повышает внутреннюю тревожность. Поэтому часть ресурса, необходимого для задачи, выжирается ритуалами по понижению тревожности. Они, хоть и приятны (расскрашивание схемки не на компе, а распечатки карандашиками, высунув язык) на задачу не работают. Такое вот имхо.
no subject
Date: 2013-03-28 03:16 am (UTC)no subject
Date: 2013-03-28 06:42 am (UTC)А то, что сам придумал запоминается лучше. Скажем, задачки, которые мне рассказали, как решаются я помню плохо, а которые решила сама - гораздо лучше.
no subject
Date: 2013-03-28 07:59 am (UTC)no subject
Date: 2013-03-28 08:00 am (UTC)Идея в том, что запоминание - это построение "модели" (фактически ассоциативных связей в мозгу).
"Просто восприятие" и рисование диаграмм гораздо менее эффективно позволяют выстроить связи в мозгу чем "пересказ" (оно же "научить другого").
И стресс, на мой взгляд, тут ни при чем. Попытка повторить какую-нибудь технику (в контексте тех же GoF patterns, например) гораздо эффективнее чем чтение и/или рисование диаграмм.
no subject
Date: 2013-03-28 01:45 pm (UTC)"Искусственно" повторить можно с помощью обычных путешествий (поменять обстановку), экстрима, простого изменения в поведении и т.п. Либо сделать наоборот, усилив своё внимание, да ещё внутренне себя эмоционально "накрутить". Но второй вариант очень сложный, да и в обществе не обсуждаемый, не одобряемый, не признаваемый, делать будет очень лень.)
no subject
Date: 2013-03-28 01:38 pm (UTC)no subject
Date: 2013-03-28 08:40 pm (UTC)no subject
Date: 2013-03-29 10:36 am (UTC)