avva: (Default)
[personal profile] avva
Любопытная запись в веблоге Филипа Гринспана, о критериях приёма в американские университеты.
...due to the dumbing down and rescaling of the SAT test it is very tough to predict who will get into top colleges. Harvard, for example, receives about 500 applications every year from students with 1600 (perfect) on the SATs... and rejects more than half of them!

Зачем нужен универсальный психометрический экзамен, если наилучшая возможная оценка на нём не даёт даже 50% шансов на попадание в университет, пусть даже самый престижный? Бред какой-то.

Также интересно было бы узнать мнение американских френдов о релевантности (для реального качества образования или успеха в дальнейшей жизни) иерархии престижности колледжей — Гринспан об этом тоже пишет.

где ж это так учат?

Date: 2003-10-29 09:03 am (UTC)
From: [identity profile] ipain.livejournal.com
вапщето анализ либо специфичен либо чувствителен,
а то и то одновременно не быват.

Re: где ж это так учат?

Date: 2003-10-29 09:44 am (UTC)
From: [identity profile] http://users.livejournal.com/_egor_/
Так учат везде вапщето (в Северной Америке).
Выше уже было указано, что тест (вернее, результат теста, строго говоря) с высокой чувствительностью и низкой специфичностью (и наоборот) практически бесполезен. Таким образом, если верить Гринспану, (высокий балл на) SAT очень чувствительный, но низко специфичный.

Re: где ж это так учат?

Date: 2003-10-29 12:46 pm (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Не, обманули Вас всё-таки. И в Сев. Америке так тоже не учат, ответственно заявляю. Чувствительность-специфичность - всегда взаимоисключающие вещи. Стандартная кривая при анализе любого статистического метода - чувствительность по одной оси, специфичность по другой (кривая параметризована свободными параметрами модели). Разумеется, нет абсолютной противоположности в смысле, скажем, "сумма постоянна", но кривая идёт более или менее из угла в угол, отдельная проблема - выбрать оптимальные значения параметров модели. Ответ может быть разным, в зависимости от того, что Вы принимаете за нулевую модель и от того на какой вопрос Вы хотите ответить.

Re: где ж это так учат?

Date: 2003-10-29 03:06 pm (UTC)
From: [identity profile] http://users.livejournal.com/_egor_/
В чём обманули?
Я не знаю, по-моему, кто-то здесь не совсем понимает, о чём речь.

Если Вы хотите сказать, что, варьируя порог, нельзя одновременно повысить и чувствительность и специфичность, то с этим никто и не спорит.
Однако почему это толжно противоречить существованию значений тестов, при которых оба параметра будут высокими (в идеале, до 100%) непонятно.
Существуют тесты, характеризующиеся площадью под ROC-кривой около 100% (ПЦР, например).

Re: где ж это так учат?

Date: 2003-10-29 04:44 pm (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Ну то есть как это? Если Вы не спорите, что проблематично повысить одновременно и чувствительность и специфичность варьируя порог, то, соответственно, Вы должны согласиться, что получить и то и другое на уровне 100% тоже проблематично. Я же не говорил, что кривая линейна, вроде x+y=1, но тянут-то x и y всё-таки в разные стороны. Мне действительно неизвестен общий теоретический факт, которому противоречили бы одновременно реализованные высокие значения SP и SN - то бишь сильно поднятая РОЦ-кривая (да и вряд ли он может существовать в столь общей постановке, "пространство моделей" уж больно обширно :) ). В её поднятии, собственно, искусство создания хороших тестов и состоит. Однако это, как раз - отчаянное выгребание против течения, растаскивающего SP и SN в разные стороны. Теория теорией, но на практике получить и то и другое по 90%, да хоть по и 80% - большой успех, исключений единицы. Одно из них, возможно, Ваш "ПЦР" - хотя я аббревиатуру эту и не могу расшифровать :)

Re: где ж это так учат?

Date: 2003-10-29 06:28 pm (UTC)
From: [identity profile] http://users.livejournal.com/_egor_/
Идём по новой. Исходным тезисом было :

вапщето анализ либо специфичен либо чувствителен,
а то и то одновременно не быват.

Вы также добавили: "Чувствительность-специфичность - всегда взаимоисключающие вещи."

Если подразумевалось, что они оба не могут быть по 100%, то тогда ладно, но в том-то всё и дело, что о 100% для обоих параметров (особенно в области диагностических тестов - как Вы сами заметили ниже, достаточно правильно расчитать вероятность болезни) никто вообще-то и не мечтает, так что странно было бы настаивать на этом факте. Таким образом, естественно было интерпретировать вышесказанное как "SN и SP не могут одновременно быть (приемлимо) высокими", с чем я и изволил не согласиться.

С варьированием порога это вообще было не связано, как я и говорил выше.
Естественно, когда речь идёт об улучшении характеристик теста, то подразумевается некая модификация самого теста, а не просто варьирование порога (хотя существуют и подобные прецеденты - discrepant analysis, по-моему, но их, вроде, должны были поставить на место).

ПЦР - это PCR (Polimerase Chain Reaction), обычно имеющая очень высокую SN и достаточно высокую SP.

Re: где ж это так учат?

Date: 2003-10-30 07:57 am (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Ах вот Вы о чём... Мы, действительно, немного о разных вещах говорим, причём, это уже слегка философия. Я всё-таки склоняюсь к тому, что зачастую "SN и SP не могут быть приемлимо высокими" - не в силу каких-то принципиальных теоретических запретов, а в силу (достаточно универсальных, аднака) свойств моделей. Практика - она ж критерий истины или где? Опять-таки, в реальной ситуации, Вы всегда имеете модель и её параметры. В рамках модели Вы именно что варьируете параметры и выбираете оптимальное соотношение SP и SN (причём, бегут они в такой ситуации в разные стороны). Конечно, можно модель поменять - если получится, а можно и в консерватории что-то поправить. А под PCR Вы понимаете какую конкретную задачу? Basecalling, я так понимаю? Задача - изрядное дерьмо, там всё далеко не безоблачно. Работает, как работает и все счастливы, высокая SN и достаточно высокая SP, Вы правы (достаточно - это смотря для чего, к тому же, система и её модель довольно сложны, там помимо этих глобальных характерестик - куча специфических проблем). Но это как раз тот случай, где всё, что Вы можете делать - ето гонять параметры, соответственно - или-или. Попробуйте ка "заменить тест", то есть написать новый basecaller. Я пробовал.

Вроде бы пришли к общему знаменателю? ;)

Re: где ж это так учат?

Date: 2003-10-31 12:18 pm (UTC)
From: [identity profile] http://users.livejournal.com/_egor_/
Ага, пришли, вроде ;)

PCR - ну, да, для DNA sequencing - например, для диагностики определённого инфекционного агента, и т.п.

Писать новый basecaller я не пробовал (более того - не имею ни малейшего понятия, как это делать ;) )

Re: где ж это так учат?

Date: 2003-10-29 04:59 pm (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Да собственно одновременное повышение SP и SN является, конечно, задачей благородной, но не единственной и не всегда первоочередной. Зависит от проблемы, которую Вы решаете. Если Вам нужно ставить диагноз, то Вы, наверное, перекосите модель в сторону чувствительности - ну, заметём несколько здоровоых, сделаем дополнительные анализы и отпустим (хотя, конечно, этика, жаль людей зря пугать и всё такое). Если же Вы строите автоматическую систему распознавания физиомордий на входе в Пентагон, то бороться Вы будете в первую очередь за специфичность, ну не признает система генерала с похмелья, шуму, конечно, много, но зато пускает заведомо своих. Так что чувствительность САТ - очень правильный и милосердный перекос. Если сможете сохранив чувствительность повысить специфичность - благодарные потомки поставят Вам памятник :)

Re: где ж это так учат?

Date: 2003-10-29 12:27 pm (UTC)
From: [identity profile] khatul.livejournal.com
Допустим, у нас N пациентов, из них Х здоровых и У больных.
Мы планируем анализ, для которого положительный результат должен быть индикатором болезни.

Допустим, что из У больных положительный результат у А человек (а отрицательный - у У-А).
Допустим, что из Х здоровых отрицательный результат у В человек (а положительный - у Х-В).

Тогда ЧУВСТВИТЕЛЬНОСТЬ анализа равна А/У, а СПЕЦИФИЧНОСТЬ - В/Х. Эти величины могут быть одновременно велики (и даже просто одинаковы) - тогда анализ будет столь же чувствителен, как и специфичен.

Так учили нас в Ридмановском колледже комплементарной медицины.
From: [identity profile] ipain.livejournal.com
там типа выше уже ответили боле мене.
типа если и правда так учили,
то я б на вашем месте их судил.

Re: где ж это так учат?

Date: 2003-10-29 01:27 pm (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Хатуль, при всём моём уважении, по-моему это - скажем так, нестандартное определение. Уж в применении к статистическим моделям (в частности стандартизованным тестам типа САТ) - точно. Модель всегда смещена - есть нулевая гипотеза и есть вероятность того, что данные нулевой гипотезой не описываются. Таким образом, имеет место быть тонкий философский момент - статистика не говорит "этот - здоров, этот - болен", она говорит только: "этот - болен" (с такой-то вероятностью). И все величины должны расчитываться в отношении одной и той же модели (а не, скажем, двух, когда одна используется для того чтобы сказать - "болен", другая, вообще говоря, с другими параметрами и, возможно даже, совсем другой структурой - "здоров"). Используя Ваш пример: имеется модель, которая предсказывает, что из N человек K - больны. На самом деле, больны Y. Пересечение множеств K и Y (правильные предсказания) - Z. Так вот, специфичность (specificity) - это Z/K, если специфичность высока - мы не обьявляем больными здоровых людей (но можем пропустить больных!!!). Чувствительность (sensitivity) той же модели - это Z/Y, при высокой чувствительности мы гарантированно обьявляем больных больными (но можем также обьявить больными много здоровых!!). Тривиальный пример - скажем, уровень холестерина как диагностический параметр. Высокий уровень - плохо. Насколько высокий? Установите порог низко - загребёте всех с мало-мальски повышенным уровнем (в том числе больных), высокая чувствительность, низкая специфичность. Установите порог высоко - все, кто выше порога наверняка больны (высокая специфичность), но многих больных мы, наверняка упустили (низкая чувствительность). Либо так, либо эдак, либо разумное компромиссное значение параметра.

Уточнение

Date: 2003-10-30 10:26 am (UTC)
From: [identity profile] sinistrorsum.livejournal.com
Какой-то странный спор получается. Никто ведь не оспаривал тот факт что, повышая специфичность (сдвигая cut-off) мы понижаем чувствительность и наоборот. Речь шла о том, что оба показателя могут быть для определенных тестов с определенным порогом весьма высокими, см. например здесь (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve&db=PubMed&list_uids=10543290&dopt=Abstract):

"For inhalation challenges, the optimal cut-off point for the dose of methacholine or histamine causing a 20% fall in FEV1 was 6.6 micromol, with a sensitivity of 92% and a specificity of 89%."

Re: Уточнение

Date: 2003-10-30 10:48 am (UTC)
From: [identity profile] dr-tambowsky.livejournal.com
Да, Вы правы, вроде бы там, выше, недоразумение разрешилось. Действительно, сп. и ч. ползут в разные стороны в рамках фиксированной модели. Что позволяет сделать неформальное утверждение о том, что, грубо говоря, либо одно, либо другое. Теоретически взаимоисключения нет, можно пытаться создавать более сложные/адекватные модели, за что, собственно, все и борются с переменным успехом.

January 2026

S M T W T F S
    1 2 3
45678910
11121314151617
18192021222324
25262728293031

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jan. 3rd, 2026 11:32 pm
Powered by Dreamwidth Studios