Переношу в свой дневник содержание коммента к записи у
d_off, в к-м я более-менее точно высказал своё отношение к AI как дисциплине, по крайней мере до недавнего времени.
Я вижу историю AI начиная с середины 50-х годов как один большой скандал. Ведущие специалисты в AI не раз, не два и не три заявляли нам за последние пол-века, что ещё через 30, 20 или 15 лет у нас будет машина, такая же умная, как человек. Сейчас понятно, что все эти заявления были в лучшем случае самообманом, в худшем - наглым враньём с целью получить ещё больше финансирования. Самые убедительные примеры интеллектуального соревнования машины с человеком достигнуты вообще в обход AI как дисциплины (напр. шахматные компьютеры, построенные все как один на грубом переборе с некоторыми вариациями). Ни одной действительно серьёзной цели, поставленной AI перед собой, она не смогла добиться.
В этой ситуации полного интеллектуального провала, на который невозможно больше закрывать глаза, стало популярно сейчас утверждать, что дескать AI не должен имитировать человека, не должен ему подражать, что неверно оценивать успешность AI по человеческим меркам типа теста Тюринга.
Но мне это кажется всего лишь попыткой, со стороны тех специалистов AI, что так говорят, сделать хорошую мину при плохой игре. Если оценивать AI не по тому, насколько хорошо он делает что-то интеллектуальное, что умеет делать человек, то КАК его оценивать? Если просто по соответствию поставленной задаче, тогда алгоритм сортировки bubble-sort - очень удачный AI.
Всё в конце концов сводится к тому, что мы знаем только один вид intelligence - наш собственный; и единственный способ назвать что-то другое intelligent - если это что-то может соревноваться с нами в обще-интеллектуальных занятиях или результатах, или в чём-то даже превосходит нас. Тест Тюринга - самый простой и верный способ это проверить. Отказываясь от этой меры, мы остаёмся ни с чем - никакого эффективного метода ранжировки степени интеллектуальности разного рода AI у нас больше нет. Такое положение вещей, возможно, и выгодно тем людям внутри AI, которые отчаялись (и справедливо!) доказать окружающему миру, что они добились чего-то значимого. Но научное сообщество в целом с этим подлогом соглашаться не должно.
Я вижу историю AI начиная с середины 50-х годов как один большой скандал. Ведущие специалисты в AI не раз, не два и не три заявляли нам за последние пол-века, что ещё через 30, 20 или 15 лет у нас будет машина, такая же умная, как человек. Сейчас понятно, что все эти заявления были в лучшем случае самообманом, в худшем - наглым враньём с целью получить ещё больше финансирования. Самые убедительные примеры интеллектуального соревнования машины с человеком достигнуты вообще в обход AI как дисциплины (напр. шахматные компьютеры, построенные все как один на грубом переборе с некоторыми вариациями). Ни одной действительно серьёзной цели, поставленной AI перед собой, она не смогла добиться.
В этой ситуации полного интеллектуального провала, на который невозможно больше закрывать глаза, стало популярно сейчас утверждать, что дескать AI не должен имитировать человека, не должен ему подражать, что неверно оценивать успешность AI по человеческим меркам типа теста Тюринга.
Но мне это кажется всего лишь попыткой, со стороны тех специалистов AI, что так говорят, сделать хорошую мину при плохой игре. Если оценивать AI не по тому, насколько хорошо он делает что-то интеллектуальное, что умеет делать человек, то КАК его оценивать? Если просто по соответствию поставленной задаче, тогда алгоритм сортировки bubble-sort - очень удачный AI.
Всё в конце концов сводится к тому, что мы знаем только один вид intelligence - наш собственный; и единственный способ назвать что-то другое intelligent - если это что-то может соревноваться с нами в обще-интеллектуальных занятиях или результатах, или в чём-то даже превосходит нас. Тест Тюринга - самый простой и верный способ это проверить. Отказываясь от этой меры, мы остаёмся ни с чем - никакого эффективного метода ранжировки степени интеллектуальности разного рода AI у нас больше нет. Такое положение вещей, возможно, и выгодно тем людям внутри AI, которые отчаялись (и справедливо!) доказать окружающему миру, что они добились чего-то значимого. Но научное сообщество в целом с этим подлогом соглашаться не должно.
Re:
Date: 2002-04-10 07:59 am (UTC)Íó íåò, ñ ýòèì ÿ âîîáùå íèêàê íå ìîãó ñîãëàñèòüñÿ.
Computer Science íå òîëüêî íå çàíÿòà åäèíñòâåííî ñîçäàíèåì AI - ýòî ñîçäàíèå äàæå íå èãðàåò íèêàêîé îñîáåííî âàæíîé ðîëè â ðàçâèòèè Computer Science êàê íàó÷íîé äèñöèïëèíû.
 ñîçäàíèè è àíàëèçå àëãîðèòìîâ, â òåîðèè âû÷èñëèìîñòè, â òåîðèè ñëîæíîñòè, â âåðèôèêàöèè, â äèçàéíå ÿçûêîâ ïðîãðàììèðîâàíèÿ è êîìïèëÿòîðîâ è åù¸ â êó÷å ïîä-äèñöèïëèí Computer Science - âïîëíå íîðìàëüíàÿ, íèñêîëüêî íå àëõèìè÷åñêàÿ íàóêà.
Ðàçóìíîé òåîðåòè÷åñêîé îñíîâû ó íàñ êàê íå áûëî, òàê è íåò, è ýòî ñîâñåì íå ñâîéñòâî ïðîáëåìû AI, ýòî ñâîéñòâî âñåé îáëàñòè computer science.
Äà ïî÷åìó æå ýòî? Âïîëíå åñòü ðàçóìàÿ òåîðåòè÷åñêàÿ îñíîâà, äàæå, ÿ áû ñêàçàë, ôåíîìåíàëüíî óäà÷íàÿ â ñâîåé î÷åâèäíîé åñòåñòâåíííîñòè (ÿ èìåþ â âèäó ñîâïàäåíèå ïî ñèëå äåÿñòêîâ ðàçíûõ ìîäåëåé âû÷èñëåíèÿ èç ñàìûõ ðàçíûõ âíåøíèõ äèñöèïëèí).
no subject
Date: 2002-04-10 11:10 am (UTC)Ýòî ñëîæíûé âîïðîñ. Èçíà÷àëüíî êîìïüþòåðû ñîçäàâàëèñü äëÿ òîãî, ÷òîáû ñíÿòü ñ ÷åëîâåêà òó ÷àñòü (èìåííî èíòåëëåêòóàëüíîé) ðàáîòû, êîòîðóþ ïîëó÷èòñÿ ïåðåëîæèòü íà ìàøèíó. Ñî âðåìåíåì ïîëó÷àåòñÿ ïåðåëîæèòü âñå áîëüøå, íî âñå åùå íå ïîëó÷àåòñÿ ïåðåëîæèòü âñþ.
 ñîçäàíèè è àíàëèçå àëãîðèòìîâ, â òåîðèè âû÷èñëèìîñòè, â òåîðèè ñëîæíîñòè, â âåðèôèêàöèè, â äèçàéíå ÿçûêîâ ïðîãðàììèðîâàíèÿ è êîìïèëÿòîðîâ è åù¸ â êó÷å ïîä-äèñöèïëèí Computer Science - âïîëíå íîðìàëüíàÿ, íèñêîëüêî íå àëõèìè÷åñêàÿ íàóêà.
Ñîçäàíèå àëãîðèòìîâ -- íàóêà? Êàêîâû îñíîâíûå ïîëîæåíèÿ è òåõíîëîãèè ýòîé íàóêè? (Êðîìå êàê, ðàçóìååòñÿ, ðîäèòü è âîñïèòàòü ãåíèàëüíîãî, îò Áîãà, àëãîðèòìèñòà). Àíàëèç àëãîðèòìîâ - íå çíàþ, ìåñòàìè -- âîçìîæíî. ×òî ïîíèìàåòñÿ ïîä àíàëèçîì? Åñòü ëè ó íàñ èíñòðóìåíòàðèé, êîòîðûé ïîçâîëÿåò âçÿòü äâà àëãîðèòìà è ïîêàçàòü èõ ýêâèâàëåíòíîñòü èëè íåýêâèâàëåíòíîñòü? Òåîðèÿ âû÷èñëèìîñòè -- äà, òóò ó íàñ ÷òî-òî åñòü. Âïðî÷åì, âñå ïîäõîäû, êîòîðûå ìû èìååì â òåîðèè âû÷èñëèìîñòè, ñâîäÿòñÿ, ãðóáî ãîâîðÿ, ê òîìó, ÷òî 1) ìû áåðåì íåêèé íàáîð àòîìîâ, èç êîòîðûõ ôîðìèðóåòñÿ ôóíêöèÿ, 2) äîêàçûâàåì ïðî ýòîò íàáîð, ÷òî ëþáàÿ ôóíêöèÿ, ñîñòàâëåííàÿ èç ýòèõ àòîìîâ, âû÷èñëèìà, è 3) ñâîäèì ðàññìàòðèâàåìóþ ôóíêöèþ ê åå çàïèñè â ýòèõ àòîìàõ. Òðåòüÿ ôàçà â ñåáå íè÷åãî íàó÷íîãî íå ñîäåðæèò -- ÷èñòàÿ àëõèìèÿ. Âçÿòü çàïèñü ïðîèçâîëüíîãî àëãîðèòìà íà Ñè èëè àññåìáëåðå è ïîêàçàòü, ÷òî ýòà ôóíêöèÿ âû÷èñëèìà èëè íåâû÷èñëèìà -- íåðåøàåìàÿ, â îáùåì ñëó÷àå, çàäà÷à. Äëÿ îãðîìíîãî êîëè÷åñòâà ðåàëüíûõ çàäà÷, ïî êðàéíåé ìåðå. ×òî òàì äàëüøå? Äèçàéí ÿçûêîâ? Äà, òàì åñòü ñâîè ýëåìåíòû ðàöèîíàëüíîãî çíàíèÿ, êàê, ñêàæåì, òî, ÷òî ÿçûê äîëæåí ñîäåðæàòü íåêèé âû÷èñëèòåëüíî ïîëíûé áàçèñ è èìåòü ñèíòàêñèñ, êîòîðûé ìû óìååì ïàðñèòü. Ïðàêòè÷åñêè âñå îñòàëüíîå -- èçâèíèòå. Êîìïèëÿòîðû, äà. Ñ ñàìîé êîìïèëÿöèåé âñå äîâîëüíî ïðèëè÷íî (äî òåõ ïîð, ïîêà ìû ñîçäàåì ÿçûêè ñ ðàññ÷åòîì íà òî, ÷òî íàì ïîòîì èõ ïðèäåòñÿ êîìïèëèðîâàòü. Ñ çàäà÷àìè îïòèìèçàöèè âñå óæå íà ïîðÿäîê õóæå, ÷òî è ãîâîðèòü.
Âïîëíå åñòü ðàçóìàÿ òåîðåòè÷åñêàÿ îñíîâà, äàæå, ÿ áû ñêàçàë, ôåíîìåíàëüíî óäà÷íàÿ â ñâîåé î÷åâèäíîé åñòåñòâåíííîñòè (ÿ èìåþ â âèäó ñîâïàäåíèå ïî ñèëå äåÿñòêîâ ðàçíûõ ìîäåëåé âû÷èñëåíèÿ èç ñàìûõ ðàçíûõ âíåøíèõ äèñöèïëèí).
Ý, î êàêèõ, íàïðèìåð, ìîäåëÿõ èäåò ðå÷ü?
no subject
Date: 2002-04-10 02:34 pm (UTC)Èçíà÷àëüíî êîìïüþòåðû ñîçäàâàëèñü, ÷òîáû ÷èñëà ñêëàäûâàòü è óìíîæàòü, â òàêîì êîë-âå, ê-å íåäîñòóïíî ÷åëîâåêó. Ýòî íå ñíèìàíèå ñ ÷åëîâåêà ÷àñòè èíòåëëåêòóàëüíîé ðàáîòû, ýòî ïðåäîñòàâëåíèå ÷åëîâåêó ðåçóëüòàòîâ ñîâåðøåííî ìåõàíè÷åñêîé ðàáîòû.
ß ñîâñåì íå âèæó, êàê Âû ìîæåòå óòâåðæäàòü, ÷òî ñîçäàíèå AI ÿâëÿëîñü öåëüþ Computer Science (ê-ÿ âîîáùå âîçíèêëà â âèäå òåîðèè âû÷èñëèìîñòè åù¸ äî ñàìèõ êîìïüþòåðîâ). Ñîçäàòåëè ñàìè òàê íå äóìàëè è íå ãîâîðèëè. Äàæå AI-ùèêè òàê íå ãîâîðèëè.
Ñîçäàíèå àëãîðèòìîâ -- íàóêà? Êàêîâû îñíîâíûå ïîëîæåíèÿ è òåõíîëîãèè ýòîé íàóêè? (Êðîìå êàê, ðàçóìååòñÿ, ðîäèòü è âîñïèòàòü ãåíèàëüíîãî, îò Áîãà, àëãîðèòìèñòà).
 çàâèñèìîñòè îò îáëàñòè ïðèìåíåíèÿ àëãîðèòìà, îíà âñàñûâàåò â ñåáÿ ðàçíûå ÷àñòè ìàòåìàòèêè, ÷àùå äèñêðåòíîé, íî íåîáÿçàòåëüíî. Íàïðèìåð, âïîëíå ìîæíî âûäåëèòü "êîìïüþòåðíûå" ÷àñòè òåîðèè ãðàôîâ, êîìáèíàòîðèêè, ìàòàíàëèçà è ò.ï. Èõ âìåñòå îáúåäèíÿåò óïîð íà àëãîðèòìè÷åñêèé ïîäõîä, àíàëèç ñòðóêòóð äàííûõ è âðåìåíè âûïîëíåíèÿ àëãîðèòìîâ è ò.ï.
Êðîìå òîãî, ñòðóêòóðû äàííûõ, èõ äèçàéí è àíàëèç - òîæå âïîëíå íè÷åãî ñåáå íàó÷íàÿ ïîä-äèñöèïëèíà.
Àíàëèç àëãîðèòìîâ - íå çíàþ, ìåñòàìè -- âîçìîæíî. ×òî ïîíèìàåòñÿ ïîä àíàëèçîì?
Àíàëèç âðåìåíè âûïîëíåíèÿ ïî ðàçíûì ìåòðèêàì, êîë-âà òðåáóåìîé ïàìÿòè, îïòèìèçàöèÿ ýòîãî; âåðèôèêàöèîííûé àíàëèç ñ òîé èëè èíîé ñòåïåíüþ àâòîìàòè÷íîñòè.
Åñòü ëè ó íàñ èíñòðóìåíòàðèé, êîòîðûé ïîçâîëÿåò âçÿòü äâà àëãîðèòìà è ïîêàçàòü èõ ýêâèâàëåíòíîñòü èëè íåýêâèâàëåíòíîñòü?
Òàêîé èíñòðóìåíòàðèé ñîçäàòü â ïðèíöèïå íåâîçìîæíî.
Òåîðèÿ âû÷èñëèìîñòè -- äà, òóò ó íàñ ÷òî-òî åñòü. Âïðî÷åì, âñå ïîäõîäû, êîòîðûå ìû èìååì â òåîðèè âû÷èñëèìîñòè, ñâîäÿòñÿ, ãðóáî ãîâîðÿ, ê òîìó, ÷òî 1) ìû áåðåì íåêèé íàáîð àòîìîâ, èç êîòîðûõ ôîðìèðóåòñÿ ôóíêöèÿ, 2) äîêàçûâàåì ïðî ýòîò íàáîð, ÷òî ëþáàÿ ôóíêöèÿ, ñîñòàâëåííàÿ èç ýòèõ àòîìîâ, âû÷èñëèìà, è 3) ñâîäèì ðàññìàòðèâàåìóþ ôóíêöèþ ê åå çàïèñè â ýòèõ àòîìàõ. Òðåòüÿ ôàçà â ñåáå íè÷åãî íàó÷íîãî íå ñîäåðæèò -- ÷èñòàÿ àëõèìèÿ.
Âî-ïåðâûõ, ñàìîå ïðåäñòàâëåíèå àëãîðèòìà â êàêîé-òî ôîðìàëüíîé ñèñòåìå - î÷åíü ìàëàÿ è íåçíà÷èòåëüíàÿ ÷àñòü òåîðèè âû÷èñëèìîñòè êàê íàóêè. Âî-âòîðûõ, êàêàÿ "àëõèìèÿ"? Òàì âñ¸ î÷åíü ïðîñòî è ïîíÿòíî.
Âçÿòü çàïèñü ïðîèçâîëüíîãî àëãîðèòìà íà Ñè èëè àññåìáëåðå è ïîêàçàòü, ÷òî ýòà ôóíêöèÿ âû÷èñëèìà èëè íåâû÷èñëèìà -- íåðåøàåìàÿ, â îáùåì ñëó÷àå, çàäà÷à.
Ïðîñòèòå, íî ýòî áðåä ;) Åñëè óæå åñòü çàïèñàííûé àëãîðèòì, òî ôóíêöèÿ âû÷èñëèìà ïî îïðåäåëåíèþ.
×òî òàì äàëüøå? Äèçàéí ÿçûêîâ? Äà, òàì åñòü ñâîè ýëåìåíòû ðàöèîíàëüíîãî çíàíèÿ, êàê, ñêàæåì, òî, ÷òî ÿçûê äîëæåí ñîäåðæàòü íåêèé âû÷èñëèòåëüíî ïîëíûé áàçèñ è èìåòü ñèíòàêñèñ, êîòîðûé ìû óìååì ïàðñèòü. Ïðàêòè÷åñêè âñå îñòàëüíîå -- èçâèíèòå.
×òî èçâèíÿòü? Òàì êó÷à âàæíûõ òåîðåòè÷åñêèõ ïîäõîäîâ è ìåòîäîâ.
Ý, î êàêèõ, íàïðèìåð, ìîäåëÿõ èäåò ðå÷ü?
Ðå÷ü èä¸ò îá îãðîìíîì êîë-âå íåçàâèñèìûõ è "åñòåñòâåííûõ" ñïîñîáîâ îïðåäåëèòü ïîíÿòèå âû÷èñëèìîé ôóíêöèè, ê-å âñå, êàê îêàçàëîñü, ñîâïàäàþò è äàþò îäèí è òîò æå êëàññ âû÷èñëèìûõ ôóíêöèé. Íàïðèìåð, âû÷èñëèìûå ôóíêöèè ìîæíî îïðåäåëèòü àðèôìåòè÷åñêè êàê íåêèé êëàññ ôóíöêèé, âêëþ÷àþùèé áàçèñíûå òðèâèàëüíûå è çàêðûòûé ïî íåñêîëüêèì îïåðàöèÿì; ìîæíî ÷åðåç ìàøèíû Òþðèíãà; ìîæíî ÷åðåç äðóãèå "êîìïüþòåðíûå" ìîäåëè, êàê-òî direct RAM access computer; ìîæíî ÷åðåç ëÿìáäà-èñ÷èñëåíèå, ìîæíî ÷åðåç äîêàçóåìîñòü â ôîðìàëüíûõ ñèñòåìàõ, è åù¸ è åù¸.
no subject
Date: 2002-04-10 07:05 pm (UTC)Ëþáàÿ ðàáîòà, êîòîðóþ ìîæåò èñïîëíÿòü êîìïüþòåð, ïî îïðåäåëåíèþ ìåõàíè÷åñêàÿ. Ýòî òàêèì æå îáðàçîì îòíîñèòñÿ è ê ðàñïîçíàâàíèþ îáðàçîâ, è êî âñåì îñòàëüíûì ñêðîìíûì, íî ñóùåñòâóþùèì äîñòèæåíèÿì AI. Ïîýòîìó "ìåõàíèíîñòü" -- ïëîõîé êðèòåðèé äëÿ îòëè÷èÿ AI îò íå-AI. Ïðîñòî íà òîò ìîìåíò ìû õîðîøî çíàëè, êàê óìíîæàòü è ñêëàäûâàòü; ñåé÷àñ ìû õîðîøî çíàåì, êàê ðàñïîçíàâàòü îïðåäåëåííûå îáðàçû. Íåò ðàçíèöû. Ãðóáî ãîâîðÿ, åñëè áû âäðóã ñòàëè õîðîøî çíàòü, êàê ïðîõîäèòü òåñò Òüþðèíãà, ýòî òîæå ñòàëî áû ìåõàíè÷åñêîé ðàáîòîé.
ß ñîâñåì íå âèæó, êàê Âû ìîæåòå óòâåðæäàòü, ÷òî ñîçäàíèå AI ÿâëÿëîñü öåëüþ Computer Science (ê-ÿ âîîáùå âîçíèêëà â âèäå òåîðèè âû÷èñëèìîñòè åù¸ äî ñàìèõ êîìïüþòåðîâ). Ñîçäàòåëè ñàìè òàê íå äóìàëè è íå ãîâîðèëè. Äàæå AI-ùèêè òàê íå ãîâîðèëè.
Ïîíÿòèå "ðàáîò ïî AI" ïðîñòî âîçíèêëî ñî âðåìåíåì êàê îáîáùàþùåå ïîíÿòèå äëÿ âñåõ ðàáîò â îáëàñòè CS, êîòîðûå çàíèìàëèñü àâòîìàòèçàöèåé òàêèõ âèäîâ äåÿòåëüíîñòè, êîòîðûå ìû åùå íå óìååì àâòîìàòèçèðîâàòü. Åñòåñòâåííî, ó íèõ íåò íèêàêèõ ñîáñòâåííûõ äîñòèæåíèé: êàê òîëüêî îíè ÷åãî-òî äîñòèãàþò, ýòî òóò æå ïåðåâîäèòñÿ â äðóãóþ îáëàñòü, êàê ñ òåì æå ðàñïîçíàâàíèåì.
Âî-ïåðâûõ, ñàìîå ïðåäñòàâëåíèå àëãîðèòìà â êàêîé-òî ôîðìàëüíîé ñèñòåìå - î÷åíü ìàëàÿ è íåçíà÷èòåëüíàÿ ÷àñòü òåîðèè âû÷èñëèìîñòè êàê íàóêè. Âî-âòîðûõ, êàêàÿ "àëõèìèÿ"? Òàì âñ¸ î÷åíü ïðîñòî è ïîíÿòíî.
Âçÿòü çàïèñü ïðîèçâîëüíîãî àëãîðèòìà íà Ñè èëè àññåìáëåðå è ïîêàçàòü, ÷òî ýòà ôóíêöèÿ âû÷èñëèìà èëè íåâû÷èñëèìà -- íåðåøàåìàÿ, â îáùåì ñëó÷àå, çàäà÷à.
Ïðîñòèòå, íî ýòî áðåä ;) Åñëè óæå åñòü çàïèñàííûé àëãîðèòì, òî ôóíêöèÿ âû÷èñëèìà ïî îïðåäåëåíèþ.
Âû íå ïðèäèðàåòåñü ê ñëîâàì, íåò? :) Ìîæåò áûòü, áûëî áû áîëåå êîððåêòíî ñôîðìóëèðîâàòü çàäà÷ó òàê: ó íàñ åñòü ñèíòàêñè÷åñêè êîððåêòíàÿ êîíñòðóêöèÿ íà Ñè/àññåìáëåðå, è íàì íóæíî ïîíÿòü, îêîí÷èòñÿ ëè ïðåäñòàâëåííîå ýòîé êîíñòðóêöèåé âû÷èñëåíèå çà êîíå÷íîå ÷èñëî øàãîâ (íàñêîëüêî ÿ ïîìíþ, êîíå÷íîñòü ÷èñëà øàãîâ ÿâëÿåòñÿ ÷àñòüþ îïðåäåëåíèÿ àëãîðèòìà è, ñëåäîâàòåëüíî, âû÷èñëèìîé ôóíêöèè).
(ïðî äèçàéí ÿçûêîâ) Òàì êó÷à âàæíûõ òåîðåòè÷åñêèõ ïîäõîäîâ è ìåòîäîâ.
×òî íå ìåøàåò õîðîøåìó îïòèìèçèðóþùåìó êîìïèëÿòîðó "îïåðàöèîíàëüíûõ" ÿçûêîâ ÿâëÿòüñÿ ñêîðåå ïðîèçâåäåíèåì èñêóññòâà, ÷åì íàóêè.
Ðå÷ü èä¸ò îá îãðîìíîì êîë-âå íåçàâèñèìûõ è "åñòåñòâåííûõ" ñïîñîáîâ îïðåäåëèòü ïîíÿòèå âû÷èñëèìîé ôóíêöèè,
À, íó òàê Âû î ñóùåñòâóþùåé òåîðèè âû÷èñëèìîñòè. Îíà, ê ñîæàëåíèþ, äàåò óæàñàþùå ìàëî ïðàêòè÷åñêè ïðèìåíèìûõ ñëåäñòâèé äëÿ çàäà÷ ðàñïàðàëëåëèâàíèÿ, îïòèìèçàöèè è âåðèôèêàöèè. Òàê æå, êàê è AI -- çíà÷èòåëüíî ìåíüøå, ÷åì õîòåëîñü áû ïîëó÷èòü.