Во  время первых конкурсов была выявлена вторая проблема: участие недостаточно компетентных судей, которые поддавались  умело организованным манипуляциям, а не тому, что можно считать  интеллектом.

Тем не менее, с 2004 года в качестве собеседников в конкурсе принимают участие философы, компьютерные специалисты и журналисты.

Варианты теста Тьюринга

Имитационная  игра согласно описанию Тьюринга в  статье «Вычислительные машины и  разум». Игрок С путем задания  серии вопросов пытается определить, кто из двух других игроков — мужчина, а кто — женщина. Игрок А, мужчина, пытается запутать игрока С, а игрок В пытается помочь С.

Первоначальный  тест на основе имитационной игры, в  котором вместо игрока А играет компьютер. Компьютер теперь должен запутать игрока С, в то время как игрок В  продолжает пытаться помочь ведущему.

Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.

Наряду  с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.

 Имитационная игра

     Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А — мужчина, игрок В — женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них — мужчина, а кто — женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.

В той  версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А — компьютер, и исходов, когда игрок А — мужчина. Если, по словам Тьюринга, «ведущий беседу игрок после проведения игры [с участием компьютера] выносит неверное решение так же часто, как и после проведения игры с участием мужчины и женщины», то можно говорить о том, что компьютер разумен.

Второй  вариант предложен Тьюрингом  в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.

«Давайте  рассмотрим конкретный компьютер. Верно  ли то, что модифицируя этот компьютер  с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», — Тьюринг, 1950, стр. 442.

В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.

 Стандартная интерпретация.

Главной мыслью данной версии является то, что  целью теста Тьюринга является ответ  не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет. Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А — компьютер, игрок В — человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто — человек.

  Имитационная игра в сравнении со стандартным тестом Тьюринга.

     Существуют  разногласия по поводу того, какой  же вариант имел в виду Тьюринг. Стеррет  настаивает на том, что из работы Тьюринга следуют два различных варианта теста, которые, согласно Тьюрингу, неэквивалентны друг другу. Тест, в котором используется игра для вечеринок и сравнивается доля успехов, называется Первоначальным тестом на основе имитационной игры, в то время как тест, основанный на беседе судьи с человеком и машиной, называют Стандартным тестом Тьюринга, отмечая, что Стеррет приравнивает его к стандартной интерпретации, а не ко второму варианту имитационной игры.

Стеррет согласен, что Стандартный тест Тьюринга (STT — Standard Turing Test) имеет недостатки, на которые указывает его критика. Но он считает, что напротив первоначальный тест на основе имитационной игры (OIG Test — Original Imitation Game Test) лишен многих из них в силу ключевых различий: в отличие от STT он не рассматривает поведение, похожее на человеческое, в качестве основного критерия, хотя и учитывает человеческое поведение в качестве признака разумности машины. Человек может не пройти тест OIG, в связи с чем есть мнение, что это является достоинством теста на наличие интеллекта. Неспособность пройти тест означает отсутствие находчивости: в тесте OIG по определению считается, что интеллект связан с находчивостью и не является просто «имитацией поведения человека во время разговора». В общем виде тест OIG можно даже использовать в невербальных вариантах.

Тем не менее, другие писатели интерпретировали слова Тьюринга, как предложение  считать саму имитационную игру тестом. Причем не объясняется, как связать  это положение и слова Тьюринга о том, что тест, предложенный им на основе игры для вечеринок, базируется на критерии сравнительной частоты успехов в этой имитационной игре, а не на возможности выиграть раунд игры.

 Должен ли судья знать о компьютере?

В своих  работах Тьюринг не поясняет, знает  ли судья о том, что среди участников теста будет компьютер, или нет. Что касается OIG, Тьюринг лишь говорит, что игрока А следует заменить машиной, но умалчивает, известно ли это игроку С или нет. Когда Колби, Ф. Д. Хилф (F. D. Hilf), А. Д. Крамер (A. D. Kramer) тестировали PARRY, они решили, что судьям необязательно знать, что один или несколько собеседников будут компьютерами. Как отмечает А. Седжин (A. Saygin), а также другие специалисты, это накладывает существенный отпечаток на реализацию и результаты теста.

Достоинства теста

 Ширина темы

Сильной стороной теста Тьюринга является то, что можно разговаривать о чем угодно. Тьюринг писал, что «метод вопросов и ответов кажется подходящим для обсуждения почти любой из сфер человеческих интересов, которую мы хотим обсудить». Джон Хогеленд добавил, что «одного понимания слов недостаточно; вам также необходимо разбираться в теме разговора». Чтобы пройти хорошо поставленный тест Тьюринга, машина должна использовать естественный язык, рассуждать, иметь познания и обучаться. Тест можно усложнить, включив ввод с помощью видео, или, например, оборудовав шлюз для передачи предметов: машине придётся продемонстрировать способность к зрению и робототехнике. Все эти задачи вместе отражают основные проблемы, стоящие перед теорией об искусственном интеллекте.

 Недостатки теста

Несмотря на все свои достоинства и известность, тест критикуют на нескольких основаниях.

  Человеческий разум и разум вообще

Поведение человека и разумное поведение

Направленность  теста Тьюринга ярко выражена в сторону  человека (антропоморфизм). Проверяется  только способность машины походить на человека, а не разумность машины вообще. Тест неспособен оценить общий интеллект машины по двум причинам:

Иногда  поведение человека не поддается  разумному толкованию. В это же время тест Тьюринга требует, чтобы  машина была способна имитировать все  виды человеческого поведения, не обращая внимания на то, насколько оно разумно. Он также проверяет способность имитировать такое поведение, какое человек за разумное и не посчитает, например, реакция на оскорбления, соблазн соврать или просто большое количество опечаток. Если машина неспособна с точностью до деталей имитировать поведение человека, опечатки и все такое, то она не проходит тест, несмотря на весь тот интеллект, которым она может обладать.

Некоторое разумное поведение не присуще человеку. Тест Тьюринга не проверяет высокоинтеллектуальное поведение, например, способность решать сложные задачи или выдвигать оригинальные идеи. По сути, тест требует, чтобы машина обманывала: какой бы умной ни была машина, она должна притворяться не слишком умной, чтобы пройти тест. Если же машина способна быстро решить некую вычислительную задачу, непосильную для человека, она по определению провалит тест.

 Непрактичность

Стюарт  Рассел (Stuart Russel) и Питер Норвиг (Peter Norvig) утверждают, что антропоморфизм теста приводит к тому, что он не может быть по-настоящему полезным при разработке разумных машин. "Тесты по авиационному проектированию и строительству, — строят они аналогию, — не ставят целью своей отрасли «создание машин, которые летают точно так же, как летают голуби, что даже сами голуби принимают их за своих». Из-за этой непрактичности прохождение теста Тьюринга не является целью ведущих научных или коммерческих исследований (по состоянию на 2009). Сегодняшние исследования в области искусственного интеллекта ставят перед собой более скромные и специфические цели.

«Исследователи  в области искусственного интеллекта уделяют мало внимания прохождению  теста Тьюринга», — отмечают Рассел и Норвиг, — с тех пор как появились более простые способы проверки программ, например, дать задание напрямую, а не окольными путями, первой обозначить некоторый вопрос в чат-комнате, к которой подключены и машины, и люди. Тьюринг никогда не предполагал использовать свой тест на практике, в повседневном измерении степени разумности программ; он хотел дать ясный и понятный пример, для поддержки обсуждения философии искусственного интеллекта.

  Реальный интеллект и имитируемый интеллект

     Также тест Тьюринга явно бихевиористичен или функционалистичен: он лишь проверяет, как действует субъект. Машина, проходящая тест, может имитировать поведение человека в разговоре, просто «неинтеллектуально» следуя механическим правилам. Двумя известными контрпримерами, выражающими данную точку зрения являются «Китайская комната» Сёрля (1980) и «Болван» Неда Блока (Ned Block, 1981). По мнению Сёрля основной проблемой является определить, «имитирует» ли машина мышление, или «на самом деле» мыслит. Даже если тест Тьюринга и является годным для определения наличия интеллекта, Сёрль отмечает, что тест не покажет, что у машины есть разум, сознание, возможность «понимать» или иметь цели, которые имеют какой-то смысл (философы называют это целеполаганием).

В своей  работе Тьюринг писал по поводу этих аргументов следующее: «Я не хочу создать впечатление, будто я думаю, что у сознания нет никакой загадки. Существует, например, своего рода парадокс, связанный с любой попыткой определить его местонахождение. Но я не думаю, что эти загадки обязательно надо разгадать до того, как мы сможем ответить на вопрос, которому посвящена данная работа».

 Предсказания

Тьюринг прогнозировал^{[источник?]}, что машины, в конце концов, будут способны пройти тест; фактически он ожидал, что к 2000 году, машины с объемом памяти 10⁹ бит (около 119,2 МиБ или 125 МБ) будут способны обманывать 30 % судей по результатам пятиминутного теста. Также он высказал мысль о том, что словосочетание «думающая машина» больше не будет считаться оксюмороном. Далее он предположил, что машинное обучение будет важным звеном в построении мощных машин, что является правдоподобным среди современных исследователей в области искусственного интеллекта.

Экстраполируя экспоненциальный рост уровня технологии в течение нескольких десятилетий, футурист Рэймонд Курцвейл предположил, что машины, способные пройти тест Тьюринга, будут изготовлены, по грубым оценкам, около 2020 года. Это перекликается с законом Мура.

В проект Long Bet Project входит пари стоимостью 20 000 $ между Митчем Капуром (Mitch Kapor — пессимист) и Рэймондом Курцвейлом (оптимист). Смысл пари: пройдет ли компьютер тест Тьюринга к 2029 году? Определены также некоторые условия пари.^[1]