о тестировании

[avva]

To Really Learn, Quit Studying and Take a Test

Очень интересная статья о том, как улучшить усваивание и сохранение материала в памяти. В их эксперименте студенты читали небольшой отрывок текста, а потом либо 1) перечитывали его еще несколько раз; 2) рисовали диаграммы концепций, о которых текст говорит, и как они друг с другом связаны; 3) "retrieval testing" - пытались пересказать своими словами на бумаге все, что они помнят из текста. Когда через неделю им устроили экзамен на то, что они помнят из текста, те, которых просили пересказать своими словами, сделали это намного лучше остальных. Причем этого никто не ожидал, т.к. принято считать, что рисовать диаграммы лучше всего помогает запомнить.

Основная мысль - что проверить себя, пройти тест - помогает сохранить материал в памяти больше, чем зубрить или чем внимательно, "с пониманием", изучать материал. Почему - никто точно не знает.

Я хочу предложить следующую (неоригинальную) идею: то, что помогает знаниям "укорениться" в памяти, это стрессовая ситуация во время теста/экзамена/контрольной работы. Причем обязательно должен быть элемент обратной связи: оценка или место в соревновании. Должна быть борьба за что-то, и в процессе этой борьбы, в состоянии стресса - попытка вспомнить материал.

Предположим, эта идея верна. Что из этого следует в отношении широко распостраненных способов помочь ученику закрепить информацию в памяти? Несколько примеров:

1. Сетевые курсы по образцу Coursera предлагают мини-опросы о только что пройденном материале каждые 5-10 минут. Эти опросы помогают проверить, что ученик понял материал, но абсолютно не помогают закрепить в памяти.

2. Домашние задания помогают (особенно когда у них есть крайний срок подачи), но стресс, который они создают, необязательно напрямую связан с материалом, который надо запомнить. Часто домашние задания решаются с помощью мета-догадок, подстановок наугад, итп. Часто они не требуют для решения хорошего владения всем материалом. То же самое касается экзаменов и контрольных работ, особенно таких, где нужно выбирать один вариант ответа из нескольких.

3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).

4. "Лучший способ выучить что-то - попробовать научить другого". Когда я старался организовать какой-то материал, который сам знал слабо, в лекцию для других, я обычно намного лучше усваивал его сам. Я думал, это просто из-за того, что в процессе подготовки я тщательно по нему прохожусь, разбираю, сортирую, предвосхищаю вопросы итд. Но, может быть, за это закрепление следует благодарить состояние стресса - я опасаюсь, что у меня не выйдет, что не смогу хорошо объяснить, не смогу ответить на вопросы.

5. Spaced repetition, карточки в стиле Supermemo, Anki идр. Почему такие карточки помогают - потому что, как пишут авторы программ, они напоминают нам об информации как раз в тот критический момент, когда мы ее начинаем забывать? А может, это (главным образом?) потому, что они создают стрессовую ситуацию, когда нужно вспомнить, что написано на обратной стороне карточки, и сделать поменьше "ошибок"? Сравним карточки, которые просто повторяют информацию, с такими, которые задают вопрос на одной стороне, и только после того, как отвечаешь на него в уме, смотришь на правильный ответ. Если основная идея выше верна, то второй формат будет намного более успешным, чем первый. (можно возразить, что второй формат необходим для алгоритма spaced repetition, потому что надо знать, когда я неправильно отвечаю, чтобы посчитать, когда мне в следующий раз предложить эту карточку. Это верно, но все равно два формата можно сравнить, напр. в пачке из 20 карт на одну тему первые 5 можно представить как вопрос/ответ, чтобы оценить, насколько я помню материал, а оставшиеся 15 либо как вопрос/ответ, либо как просто ответ).

Почти все эти пункты, кажется, можно проверить эмпирически.

P.S. Мета-замечание. Я вначале написал эту запись на английском языке, комментарием на другом форуме. Сейчас, когда переводил ее на русский, ужасно с этим замучился. Кучу слов не знаю как сказать, кучу предложений надо по-другому вообще составить, а то звучит нелепо итд. В итоге это заняло у меня, полагаю, в два раза больше времени, чем если бы я ее изначально по-русски написал, и все равно, когда перечитываю, кажется очень коряво написанным.

Comments

[clement.livejournal.com]

Это звучит как классика педагогики: чем активнее ученик, тем лучше обучение.

[white-lee.livejournal.com]

Когда слушаешь лекцию, вживую или по видео

С полминуты пытался сообразить, является ли слово "вживую" опечаткой от "лживую" или от "вшивую" :).

[avva.livejournal.com]

См. статью - "рисовать диаграммы" - это очень активное занятие, требующее вроде бы более глубокого понимания и активного владения материалом, чем retrieval testing. И тем не менее, retrieval testing оказывается намного более полезным. Самое интересное, что сами студенты были уверены в том, что рисовать диаграммы им помогает намного лучше.

[tlkh.livejournal.com]

Я думаю, стресс не имеет отношения к (долгосрочному) запоминанию.

Пересказ своими словами - лучший способ разложить по полочкам у себя в голове весь материал.
Диаграммы - гораздо хуже, так как в результате весь материал содержится на листе, а не в голове.

[clement.livejournal.com]

Почему ты считаешь retrieval testing менее активной формой чем рисование диаграмм?

[mudak.livejournal.com]

может быть важнее, что диаграмма статична, а пересказ динамичен

[victorgr.livejournal.com]

Вот полностью согласен.

[tommi-anya.livejournal.com]

Не очень поняла смысл 4 пункта и в чем противоречие. Выучивается лучше, если тщательно разбираешь, организовываешь и задумываешься над возможными вопросами и над тем, что ты понимаешь, а что нет. Независимо от того, что тебя заставляет это делать - боязнь провала, интерес к предмету или еще какой интерес.
Для реального применения этого метода в преподавании есть несколько проблем. Первая - очень времязатратно, особенно на большие классы (ха, хорошо учиться вообще очень затратно по времени и усилиям, но все норовят сэкономить). А во-вторых, такой метод предполагает весьма выский уровень metacognition, который у многих отсутствует, особенно у тех, кому тяжело учиться. У таких людей есть реально проблемы понять, что знаю, и что не знаю. То есть грубо говря, двоешник потому и двоешник, что он даже не понимает того, что он двоешник, пока свою двойку не получит. И еще и будет недоумевать "за что?".

[saccovanzetti.livejournal.com]

Написано вполне нормально, однако большая просьба дублировать сюда такие записи хотя бы ссылками на другие форумы, если нет времени на перевод.

[tat-ti.livejournal.com]

Когда мне сказали, что через неделю мне читать курсы по java, которую я вообще не знала, то первое прочтение дало понимание Брюса Эккеля "Философия джавы".
Но его примеры очень плохо ложились на показ на слайдах.

Тогда по его курсу была сделана разбивка по лекциям, а примеры брала из тьюториалов и других книг (тогда было по джаве полторы книги).

Курс по языку немыслим без задач и контрольных вопросов (вопросы имхо повышают связанность материалов в голове, без них часто после лекции у студентов знания в виде линейной цепочки, хоть оботсылайся к другим частям курса).
Когда составишь короткие, понятные, однозначно трактуемые вопросы, штук по 10 к теме, тему изучишь вдоль и поперек. Ибо просто пишутся только первые 3 вопроса.

Потом идут задачи. По теме. На закрепление. Втрое занятие - пакеты в джава, третье - наследование. Коллекций еще нет, а задачи на наследование и пакеты нужны. Интересные.

После того, как задачи сделаны (т.е. перелопачены горы уже предлагаемых задач из разных сборников и курсов), то банально объем впитанной информации гораздо больше.

Полученные знания у учителя просто вбиты в мозг.
Это изобилие знаний о языке никак не влияют на его способность разработать архитектуру сложного проекта. Да и простого - тоже.
Но ведь надо доработать курс и добавить паттерны, как же иначе объяснить, почему оставили возможность делать конструктор класса private...
То есть через пару итераций прочтения курса получаем на выходе человека, который немного умеет конструировать из кубиков.

Насчет стресса при преподавании - давайте сравним человека, который составляет такой курс в спокойной обстановке без лимита по времени "чтобы к вчера" и человека, который читает (стресс!!) по такому готовому курсу при одинаковом начальном уровне знания предмету.
Мне кажется, что незастрессеный составитель задач выучит материал лучше.

[clement.livejournal.com]

Ещё одна немаловажная деталь: понятно, что все учатся по-разному. Нил Флеминг различал аудитивных, визуальных и кинестетических учащихся. Мне кажется, что создание диаграмм полезно преимущественно визуалам и, в меньшей мере, кинестетикам, а retrieval testing скорее только кинестетикам, но retrieval testing может быть им помогает больше из-за повторения?

[salas.livejournal.com]

3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).

В нашем матклассе были лекции, через несколько дней после которых надо было сдать изложение преподавателю. Дополнительно явно поощряется вариант «научить другого»: изложение обязательно не только для тех, кто не понял лекцию, но и для тех, кто её пропустил.

[aga.livejournal.com]

Четвертый пункт плюсую, хотя, может быть, он не для всех подходит.
И да, влияние стресса тоже, на мой взгляд, ощутимо.

[angerona.livejournal.com]

Не согласна про стресс.

Мы буквально десять минут назад с сотрудниками говорили про test taking и test preparation skills.

моя идея как раз как в заголовке статьи: не надо фокусироваться на чтении материала, а надо раз за разом проходить пробные тесты. В таком варианте стресса нет — ты тесты делаешь дома и сам для себя. А запоминание — еще как.

потому что суть именно в том, чтоб научиться выуживать из поданной информаци нужную (или запомнить только нужную, в случае с multiple choice) — структурировать и понимать главное. Это получается лучше, если пересказываешь текст или делаешь пробные тесты, чем если рисуешь диаграммы и пишешь конспекты.

[kinuski.livejournal.com]

>>Сейчас, когда переводил ее на русский, ужасно с этим замучился
+ Я не перевожу, если мне нужно написать на двух разных языках - просто пишу два текста. Тексты получаются несколько разными, но это им не вредит. :-)

[gul-kiev.livejournal.com]

Результат теста для меня выглядит закономерно, с гипотезой ключевой роли стресса не соглашусь.
Пересказ, объяснение ценно само по себе. Оно структурирует информацию и помогает выявить (и восполнить) пробелы, слабости, которые могут остаться незамеченными при пассивном восприятии, даже если рисуются диаграммы.
В частности, при восприятии лекции по программированию алгоритм может казаться понятным, и даже диаграмму можно нарисовать. А вот когда начинаешь сам его реализовывать, всплывают нюансы - то, что недопонял, чего не заметил.
Не удивлюсь, если нейрофизиологи скажут, что при пересказе и объяснении задействуются какие-то специальные зоны мозга, которые остаются пассивными при прослушивании лекции и рисовании диаграмм. :)

Конечно, эмоции тоже имеют ключевую роль в запоминании, но, как я понял, в приведённом тесте этот фактор не проверялся.

[3d-object.livejournal.com]

Идеей стресса вовсю пользуются буддистские учителя - при произнесении чего-то очень важного сильно бьют ученика палкой.
А вообще, наверно, форма оптимального усвоения зависит от типа личности и типа учебного материала. Программиста легче обучить повторением, финансиста - диаграммой, художника - рисунком; но бамбуковой палкой надо бить всех.

[progulki.livejournal.com]

я почти ничего не помню из курса нейропсихологии, но, по моему, ты не прав
стресс не есть хорошо для памяти

[alex smaliy (from livejournal.com)]

Есть хороший обзор темы написанный ведущими исследователями:

Roediger, H.L., & Karpicke, J.D. "The Power of Testing Memory: Basic Research and Implications for Educational Practice," Perspectives on Psychological Science, September 2006 (1): 181-210.

Если я не ошибаюсь, то этот так-называемый testing effect наблюдается даже в тех случаях, когда студентам не сообщают оценок. Хотя в большинстве експериментов, кажется, используется запоминание списков слов, так что успех часто очевиден.

[cema.livejournal.com]

Насчет postscriptum'а: нет, не коряво, но эффект "в два раза дольше" известный.

[cema.livejournal.com]

+1

[snyders.livejournal.com]

по-моему это можно объяснить не привлекая стресс. Есть огромная разница между "понял, что объяснили" и "могу объяснить сам". В первом случае есть иллюзия понимания (так же как во сне есть иллюзия осмысленности происходящего), при этом часть логических звеньев отсутствует. При попытке пересказать, эти звенья обнаруживаются, и по свежим следам легко заполняются.

Если же пересказ не сделать, то как часто бывает, ощущение что "понял" остается, а на самом деле еще больше логических звеньев забыто, настолько, что часто уже не возможно восстановить логическую цепочку. Пересказ сразу после лекции позволяет активизировать дополнительные логические звенья и таким образом добавляет "избыточность", получается что-то типа кода исправления ошибок.

[ikadell.livejournal.com]

Да нет, нормально написано.

Только не стресс

[itstrueifilie.livejournal.com]

Стресс не помогает запомнить, а наоборот, лишает организм "высших" функций, все резервы уходят на реакцию на стресс, выживание, какая уж тут учеба, если даже переваривание пищи (более базовая функция организма) отключается. Почитайте про гиппокампус, амигдалу, адреналин и кортизол. Стресс, особенно хронический, выводит из строя память, а не подстегивает ее.

[bortans.livejournal.com]

Мне кажется, что дело не в стрессе, а в том, что когда ты пересказываешь своими словами, то эти знания становятся гораздо более личными для тебя. Как будто ты сам это придумываешь и сам пытаешься разобраться и проверить, а не просто поверить кому-то на слово. При этом ты активно обдумываешь прочтенное, лучше разбираешься во внутренних связях и укладываешь это в свою картину мира. Иначе ведь своими словами ты это пересказать не сможешь.

В этом смысле диаграммы хороши, но недостаточны. Они дают слишком упрощенную картину, не раскрывают всех деталей, больше похоже на мнемонические правила. А пересказ своими словами - это reinventing, идеи и образы становятся твоими, а все свое запоминать легче. Не говоря уже о более глубоком понимании, что еще важнее запоминания.

К техническим текстам, мне кажется, это относится в еще большей степени. Там еще важнее глубокое понимание и интимная связь с объектом изучения. Запоминать же, например, доказательства теорем невозможно, можно только их понимать, чтобы в будущем не вспоминать доказательства, а восстанавливать их самому (что гораздо проще).

Я, например, именно так и стараюсь все читать. Если я не почувствовал это своим; не считая, что разобрался более глубоко, чем написано в учебнике; и не считаю, что могу изложить материал лучше, чем в учебнике (включая мотивировки новых понятий, доказательства, примеры, взаимные связи) , то я не считаю, что я понял предмет изложения. Это, кстати, имеет отношение и к тому, что вы недавно писали про теорию музыку и желание написать свой учебник по этой теории. В идеале, такое желание должно появляться при изучении любого раздела, от математики и физики до любых других предметов. Тогда хороший шанс, что ты понял этот раздел, даже если сам учебник и не написал, а только обдумал в своих мыслях и записках как он мог бы выглядеть.

См. также http://web.stonehill.edu/compsci//History_Math/math-read.htm и http://math.stackexchange.com/questions/118158/do-you-prove-all-theorems-whilst-studying (в последнем обсуждении особенно см. http://math.stackexchange.com/a/118275).

[http://users.livejournal.com/_winnie/]

1) Мы заучиваем инфомацию для того, что бы воспроизводить, а не запереть её в себе

2) Что бы лучше воспроизводить запомненное, надо тренировать воспроизведение запомненного.

К.О.

Если на экзамене дали бы задание "нарисовать схему", то лучше бы его сдали те, кто рисовал схему :)

Ещё может быть гипотеза, что кому-то лучше схема, а кому-то дискурс, и их доли не равны. Та группа людей, которая меньше - меньше вкладывает в общую статистику свой способ запоминания.

[anchan-uk.livejournal.com]

"Ну тупой студент попался. Обьясняю, обьясняю, сам все понял - а до него не доходит".

Я уже давно выяснила, что если не заставлю себя растолковать новый кусок материала реальному или воображаемому коллеге или студенту, застряну на состоянии "ага, ну вроде понял". На lesswrong.com точно где-то была подробная статья об отличии этого состояния "легкого тумана, когда все более-менее ясно" от точки кристальной ясности.

Преподы, которые сами "щелкнули" на проблему, с легкостью могут опознать студента, у которого тоже случился щелчок. Буквально по рассказанному анекдоту или паре вопросов.

Студенты, которые "щелкнули" на проблему, способны разьяснить ее другому в доступной форме. И наоборот, слегка не докрутивший товарищ примется нести словесную пургу.

Так собственно я и работаю. Сперва осваиваю материал. Потом рисую схемку, тупо расскрашивая ее. Просто для того, чтобы оттянуть решение проблемы, просто рассматривая и крутя всю систему. Но при этом она должна быть вся перед глазами, желательно в виде концепта с подписями или майндмапа. После чего берусь ее растолковывать внутреннему студенту из анекдота в начале коммента. И кручу, пока не щелкнет.

Стресс имхо тут не при чем. Стресс лично мне помогает мобилизоваться, собраться, сфокусироваться на проблеме. Для этого в начале дня меня надо напугать слегка, сообщив, что на следущее утро кому-то это надо уже показать и растолковать, а конь не валялся.

Если стресса нет, я проделаю то же самое, но денька за три с перебивками на чай и жж, но результат будет тем же самым.

А вот в период кручения схемки и размышления над ней стресс дико вреден. Он отбивает способность думать в пять сторон сразу, ловя дальние ассоциации по внутренним ассоциативным сетям. Сильно усложняет тем самым подбор метафор. Более того, стресс повышает внутреннюю тревожность. Поэтому часть ресурса, необходимого для задачи, выжирается ритуалами по понижению тревожности. Они, хоть и приятны (расскрашивание схемки не на компе, а распечатки карандашиками, высунув язык) на задачу не работают. Такое вот имхо.

[govorkaya.livejournal.com]

Забавно, только недавно читала главу из книги "Talent Code", там поднимается та же тема.

[sleeping-death.livejournal.com]

опередили )) тоже хотел написать про паяльник )))

[nechaman]

Я за пункт 4. То, что я когда-либо преподавала я знаю гораздо лучше. Учтите, что когда ты с группой давно и близко знаком, нету стресса. Вещь, которую ты для себя переварил, как будто сам придумал.
А то, что сам придумал запоминается лучше. Скажем, задачки, которые мне рассказали, как решаются я помню плохо, а которые решила сама - гораздо лучше.

[auto194419.livejournal.com]

Ты никогда не писал себе отчёты о встречах/фильмах/выполненной работе? Или просто отчёт за день?

[dimmik.livejournal.com]

У Хокинса в "об интеллекте" об этом есть.
Идея в том, что запоминание - это построение "модели" (фактически ассоциативных связей в мозгу).
"Просто восприятие" и рисование диаграмм гораздо менее эффективно позволяют выстроить связи в мозгу чем "пересказ" (оно же "научить другого").
И стресс, на мой взгляд, тут ни при чем. Попытка повторить какую-нибудь технику (в контексте тех же GoF patterns, например) гораздо эффективнее чем чтение и/или рисование диаграмм.

[ospf-ripe.livejournal.com]

Картинка не совсем верная. Некоторые (включая меня), плохо воспринимают информацию на слух. Из того, что я прочитал в учебнике, я помню больше, чем из того, что прослушал в виде лекции.

[clement.livejournal.com]

Да, конечно - это "средняя температура по больнице".
http://avva.livejournal.com/2588445.html?thread=94096413#t94096413

[aingerlj.livejournal.com]

По мне так лучший способ запомнить - это подключить воображение: визуальное, тактильное, слуховое, вкус, запах. Создать виртуальную модель, погрузить в неё, представить нужный процесс, повторить несколько раз. Менять масштаб, точки "съёмки" и всё такое. Но у этого есть серьёзный недостаток: требует много времени.

[aingerlj.livejournal.com]

В конфликтной ситуации обостряются чувства, вернее - внимание к ним усиливается. Этакая концентрация.
"Искусственно" повторить можно с помощью обычных путешествий (поменять обстановку), экстрима, простого изменения в поведении и т.п. Либо сделать наоборот, усилив своё внимание, да ещё внутренне себя эмоционально "накрутить". Но второй вариант очень сложный, да и в обществе не обсуждаемый, не одобряемый, не признаваемый, делать будет очень лень.)

[sthinks.livejournal.com]

Да ну, неужели сюрприз? Твердо знаю с начальной школы, что лучший способ в чем-либо разобраться/что-либо запомнить - это объяснить/рассказать другому человеку. Именно так в былые годы к экзаменам и готовилась, т.е. другим объясняла.

[sophist-ru.livejournal.com]

Зато этот метод очень хорошо ложится на flipped classroom (http://1.bp.blogspot.com/-Ppr1xXa1D7U/UFOAS-lq0pI/AAAAAAAAACc/JDWeyTeOtcU/s1600/Flipped+Classroom.png).

[sophist-ru.livejournal.com]

Зато этот метод очень хорошо ложится на flipped classroom.

[sophist-ru.livejournal.com]

А я хочу предложить другую неоригинальную идею: то, что помогает знаниям укорениться в памяти — это рефлексия. Для пересказа своими словами требуется понять, что ты понял, а что не совсем, что важно, а что второстепенно, в каком порядке следует излагать и т.д.