Мне от этих разговоров становилось не по себе. В первую очередь потому, что я помнила: открыв игру в первый раз, сразу же создала компьютерные копии своих одноклассников. И подозревала, что примерно такими же героями играют все остальные. Вслух я, конечно, не возмущалась игровыми стратегиями своих друзей: понятно же, что эти персонажи — всего лишь компьютерный код.

Этот вопрос, который приходил мне в голову в седьмом классе, — один из самых главных для людей, которые работают в сфере прав человека. Когда я поступила в первый класс, компьютерные игры были очень мало похожи на реальность: никому в голову не приходило жалеть составленную из пикселей «змейку» на экране кнопочной «Нокии», когда она врезалась в стену и умирала. Сейчас же, когда я уже семь лет как закончила школу, происходящее на экране компьютера очень легко спутать с происходящим за окном. И дело, конечно, не только в графике. Уже сейчас многие задумываются: что будет, если компьютерные копии человеческого разума станут настолько совершенными, что будут сами считать себя людьми? Что, если искусственный интеллект будет считать себя интеллектом настоящим?

Пожалуй, самое главное, что отличает мир, в котором мы живем сейчас, от какого-нибудь Средневековья или Древности, — это даже не технологии, а права человека. Всего семьдесят лет назад люди договорились, что каждому из нас — молодому, старому, темнокожему, светлокожему, сильному здоровьем или слабому — автоматически принадлежит несколько важных прав. Это, например, право не быть убитым, право не подвергаться пыткам, право не быть рабом. И для того, чтобы их заслужить, ничего делать не нужно — они и так есть у каждого человека просто потому, что он человек.

И именно поэтому вопрос о том, что вообще такое человек — то есть кому принадлежат эти права — один из самых важных для ученых и всех, кто задумывается над устройством общества. Хотя на первый взгляд ответ на него и кажется очевидным. Но когда человек начинает быть человеком — в
момент рождения или раньше? Если раньше, то нарушает ли права нерожденного человека аборт? И когда человек перестает быть человеком — в момент смерти или нет? Обладает ли правами человек, у которого отказало тело? А тот, у которого отказал мозг?

И без того нерешенный вопрос о том, что такое человек, новые технологии делают во много раз сложнее. Социальный философ Андрей Юров считает, например, что вскоре людям придется заново договариваться о том, кто может пользоваться правами человека. Если ученые, например, научатся сохранять сознание человека в отрыве от его тела, сможет ли это существо претендовать на личную неприкосновенность или свободу слова?

Задуматься над этим, как всегда, помогает фантастика: авторы фильмов и книг о будущем часто его предсказывают.

Стоит только один раз задуматься над тем, что такое человек, как сразу возникает другой вопрос: все ли люди равны? Или одни - в большей мере люди, а другие - в меньшей? Хотя кажется, что этот вопрос люди уже сняли, отменив рабство и запретив дискриминацию, новые технологии заставляют отвечать на него заново. Уже сейчас на российских (и не только) улицах появляются беспилотные автомобили - ими управляет не живой водитель, а компьютер. С одной стороны, автопилоты на дорогах могут быть безопаснее, чем люди: компьютер не сядет за руль пьяным и не заснет случайно. С другой стороны, и беспилотные машины тоже попадают в аварии. Их уже было несколько - и даже со смертельным исходом. В экстренных ситуациях - когда люди перебегают дорогу в неположенном месте, например - компьютеру, управляющему автомобилем, приходится самому принимать решение, кого спасать: пешеходов (или пассажиров другой машины) или своих владельцев, которых он везет. Врезаться в дерево, объезжая вышедших на проезжую часть людей, и погубить собственных пассажиров - или задавить пешеходов, сохранив жизнь людям внутри машины. Компьютер за рулем автомобиля сделает тот выбор, который в него заложили разработчики. А значит, айти-специалистам уже сейчас приходится самим решать, кто в большей степени человек: тот, кто за пределами машины с автопилотом, или тот, кто внутри нее. И значит, кто в большей степени достоин обладать правом на жизнь.

В древности господа дарили друг другу рабов — так, будто они вещи. В Средневековье короли заключали врагов в темницы без всякого суда и закона. Тогда люди тоже были людьми, и значит, обладали правами человека по праву рождения — точно так же, как сейчас. Но, очевидно, никто эти права не соблюдал. Все потому, что права возникают только тогда, когда кто-то берет на себя обязанность защитить от их нарушений Сейчас эту обязанность взяли на себя несколько государств. Поэтому права человека — это, прежде всего, про отношения между человеком и государством. Если один человек убьет другого — это не будет нарушением права на жизнь: это будет просто уголовным преступлением. Но если государство казнит кого-то без суда и следствия, оно нарушит фундаментальное право человека. Права человека можно сравнить с защитным кругом, который персонажи фантастических фильмов чертят на земле, чтобы защититься от нечисти; только вместо нечисти — могущественное государство, а пространство внутри круга — сфера частной жизни конкретной личности, куда оно не вправе вмешиваться.

Но государству, чтобы обеспечивать наши права, часто недостаточно просто не делать чего-то плохого — не убивать нас, не пытать, не брать в рабство или не читать нашу переписку. Ему приходится предпринимать и активные действия. Например, предотвращать преступления ради нашей безопасности: выслеживать преступников и наказывать их, предсказывать угрозы и ликвидировать их. На помощь в этом государству приходят современные технологии. И меняют всё до неузнаваемости, заставляя заново придумывать, где должна проходить черта между государством и человеком.

Представьте: вы идете по родному городу и переходите дорогу. На перекрестке вам нужно остановиться. Но не из-за красного сигнала светофора. Вместо светофора — пост полиции: нужно просканировать сетчатку глаза каждый раз, когда переходите из квартала в квартал. То же самое — просканировать зрачок, просветить через рентген сумку, предъявить документы — нужно сделать, чтобы попасть в супермаркет или в больницу. Вы не можете просто пойти в хозяйственный магазин и купить нож для готовки — на него обязательно нанесут с помощью гравировки ваш персональный QR-код. На вашем смартфоне установлено приложение, которое отслеживает все, что вам присылают, и транслирует ваше местоположение властям. На дорогах, куда бы вы ни пошли, светло: по ночам прожекторы подсвечивают камеры, установленные повсюду, которые распознают лица и номера машин. Когда вы проходили бесплатный медицинский осмотр, вы сдали в больнице образец своей крови и слюны, и теперь государство по ДНК может точно вычислить всех ваших родственников. Вы не преступник: вы просто представитель уйгурской национальности и живете в Китае, в регионе под названием Синьцзян.

Этот регион находится вдали от столицы страны. Там живут люди, которые отличаются от китайцев и культурой, и религией: они мусульмане. В прошлом, когда китайцы стали активно вмешиваться в жизненный уклад уйгуров, они устроили в ответ серию терактов. Тогда власти Китая организовали тотальную слежку за уйгурами. И объяснили: это ради безопасности.

Происходящее в этом китайском регионе — яркая иллюстрация тому, что происходит, когда государство переступает черту под названием «Права человека», которой люди защищают свою личную свободу. Именно так выглядит ситуация, когда чаша весов с надписью «Безопасность» становится тяжелее, чем чаша с надписью «Свобода». И Китай, разумеется, не единственная страна, где в интересах безопасности используют новые технологии. В Москве, например, камеры видеонаблюдения уже умеют распознавать лица. Это, безусловно, поможет полицейским в разы быстрее ловить преступников — а значит, позволит государству лучше защищать права москвичей. С другой стороны, распознавание лиц означает, что власти будут в курсе передвижений каждого человека — и это заставляет задуматься о нарушении права на уважение частной жизни.

Наше время — не первый период в истории, когда люди поражаются, как быстро технологии меняют мир. Сто пятьдесят лет назад ученые, скорее всего, и сами не могли поверить, насколько стремительно они развивают прогресс: еще в 1884 году люди передвигались на лошадях, а спустя год начали разъезжать на автомобилях. Тогда у людей появилось чувство, будто они могут перестроить не только движение по улицам в городах, а всю общественную жизнь в целом: сделать ее более разумной, решить социальные проблемы, избавиться от бедности, преступности, болезней.

Конечно: ведь тогда только-только набирала силу наука статистика, которая научила государства собирать информацию о большом числе людей и анализировать связи между причинами социальных бедствий и их проявлениями. Стало очевидно, например: опасная болезнь холера распространяется не просто так, а из-за плохих условий жизни бедных людей. Стало быть, нужно улучшить жилищные условия, и холеру можно победить. Другие выводы были не столь безобидны. Например, российские военачальники незадолго до Первой мировой войны, основываясь на данных «военной статистики», пришли к выводу, что одни народы, населяющие российскую империю, более благонадежны, а другие могут пособничать врагам. Именно поэтому во время войны царское правительство выгнало немцев, евреев и мусульман из территорий, граничащих с другими странами. В гитлеровской Германии людей сортировали по категориям: представители «арийской расы» считались самыми лучшими и ценными, а все евреи и цыгане, например, наоборот — ни на что не годными. Это обернулось массовым истреблением людей — и именно после жестокой Второй мировой войны государства, кстати, и договорились соблюдать права человека.

С тех пор, казалось бы, идея «категоризировать»людей, распределить их по папочкам должна была себя дискредитировать. Но современные технологии позволяют узнать о людях так много и так эффективно хранить информацию о них, что искушению использовать эти возможности противостоять бывает невозможно.

Эта реальность существует не только в сериалах. Власти Китая еще пять лет назад начали обкатывать «систему социального кредита». Она позволяет собирать данные о людях — например, что именно они покупают в интернете, платят ли налоги и штрафы, как часто нарушают закон — и затем выставлять каждому человеку оценку, так называемый рейтинг доверия. Несколько лет назад власти Китая объявили, что запретят пользоваться самолетами и поездами тем, в чьей «истории» были связанные с транспортом правонарушения — например, если человек помешал самолету взлететь или распространил ложное сообщение о терроризме. В планах у китайских властей запретить обладателям низкого рейтинга работать в некоторых профессиях, бронировать столики в хороших ресторанах, получать социальное обеспечение от государства и отдавать детей в дорогие частные школы.

Власти Китая объясняют: эта система нужна для того, чтобы люди жили в безопасности. Однако если посмотреть на идею присваивать каждому рейтинг, учитывая все его поступки, все ошибки, которые он совершил, все неудачи, которые его преследовали, через призму прав человека, станет очевидно: это никак не сочетается ни с неприкосновенностью частной жизни, ни с запретом дискриминации.

Научить компьютер оценивать людей — это задача, решить которую и власти, и бизнес пытаются не только в Китае, но и на Западе. На первый взгляд кажется, что искусственный интеллект справится со многими задачами лучше, чем интеллект настоящий: ведь люди могут находиться в плену предрассудков, могут ошибаться, могут быть пристрастными по личным причинам. Вероятно, именно так рассуждали руководители американской компании «Амазон» (это глобальный интернет-магазин), когда решили разработать программу, которая бы автоматически подбирала для них сотрудников. Программисты написали код, который анализировал тысячи резюме и выбирал из них пятерку самых лучших. И тут-то разработчики заметили, что по какой-то причине искусственный интеллект выбирает специалистов-женщин реже, чем мужчин.

Казалось бы: ущемлять женщин в правах, не брать их на работу, платить им меньше, чем мужчинам это специфическое человеческое поведение. Люди ведут так себя из-за стереотипов: долгие годы было принято считать, что женщины не предназначены для работы вне дома и не могут быть самостоятельными. Но откуда же предвзятое отношение к женщинам взялось у беспристрастной машины? Выяснилось: от людей. Когда искусственный интеллект учился подбирать сотрудников, он взял за образец тех людей, которые уже работали в компании. Среди них мужчин оказалось больше, чем женщин. А значит, решил компьютер, мужчина более желанный претендент на должность.

Полицейские в США тоже думали, что искусственный интеллект поможет им избавиться от предрассудков по поводу темнокожих людей. Они стали использовать программу, которая собирает информацию о преступнике и автоматически оценивает, какова вероятность, что он нарушит закон снова. «Рейтинг» преступника, составленный этой программой, учитывали даже судьи, когда решали, жесткое или мягкое наказание дать человеку. И тут выяснилось, что искусственный интеллект предвзято относится к темнокожим людям. В 80% случаев темнокожие, которые, по прогнозу программы, должны были совершить рецидив в будущем, в реальности закон больше не нарушали.

Искусственный интеллект перенимает недостатки, присущие людям, и воспроизводит несправедливость — так считают многие правозащитники. Поэтому нельзя полагаться на компьютеры и доверять им принимать важные решения, которые касаются судьбы людей, предупреждают они.

Слово «дементор» в этой речи легко можно заменить на слово «робот-убийца». Если человека, который приставил к твоей голове пистолет, можно уговорить сжалиться, то компьютеру абсолютно все равно.

Уже сейчас людей убивают роботы. Точнее, беспилотные самолеты, на борту которых нет людей. Но управляет таким самолетом пока что все равно человек: сидя за тысячи километров в безопасном кабинете, он видит то же самое, что видел бы пилот этого самолета, и прицелившись, нажимает на кнопку — только после этого робот стреляет.

Это, конечно, полностью переворачивает правила ведения войны. Люди больше не должны биться, втыкая друг в друга копья или обстреливая друг друга из окопа. Трудно поспорить с теми, кто скажет, что беспилотное оружие помогает соблюсти права человека: больше не нужно жертвовать солдатами, чтобы убить террористов, например.

Но профессионалы продолжают работать над беспилотным оружием: они планируют научить его убивать самостоятельно, безо всякого участия человека. Таким роботам-убийцам не нужен будет оператор, сидящий в безопасном кабинете за несколько тысяч километров. Робот сможет сам искать цель и стрелять по ней — и одобрения человека ему для этого не потребуется.

Мысль о таком оружии приводит в ужас многих. Сопротивляться его созданию пытаются организации, призванные защищать права человека: Организация объединенных наций (ООН) и некоммерческая Human Rights Watch («Стражи прав человека»). Они напоминают об очевидных вещах: люди, в отличие от машин, могут сопереживать другим, уважать человеческое достоинство и понимать ценность человеческой жизни. А еще на них давит мораль и закон: они знают, что, прими они неправильный выбор, их осудят люди и накажет государство. Машинам, разумеется, на это наплевать.

В «Гарри Поттере» герои, чтобы не дать Министерству магии прочитать письма, которые они отправляют друг другу совиной почтой, все время меняют сов: одно шлют полярной совой, другое — сычом, третье — сипухой. В реальном мире люди придумали более эффективный способ защитить свою переписку: шифрование. Это процесс, благодаря которому (в идеале) сообщения, которые вы отправляете друг другу в мессенджерах, могут прочитать только отправитель и получатель — то есть те, у кого есть ключ от шифра. Проблема в том, что доступ к этим ключам хочет получить и государство — чтобы иметь возможность читать переписку граждан. Это поможет, например, предотвращать теракты: если заранее увидеть, что преступники договариваются устроить взрыв, можно их задержать и не допустить гибели людей.

Но очевидно: если у государства будут ключи от всех наших переписок, оно сможет не только ловить террористов, но и следить за каждым нашим словом. Знать, например, критикуем мы власть или любим ее, с кем дружим, а кого ненавидим, как проводим время, какие храним секреты — в общем, все, что для государственных ушей не предназначалось. Конечно, власти следили за перепиской своих граждан и раньше, когда никаких соцсетей еще не существовало. Но согласитесь, вскрыть несколько тысяч конвертов и прочитать их содержимое, написанное от руки — намного более долгий и сложный процесс, чем автоматизированная слежка за электронными сообщениями.

Российские власти недавно запретили мессенджер Telegram — из-за того, что его владельцы отказались отдать государству ключи от шифрования переписки и сохранили сообщения своих пользователей в тайне. Конечно, в перечне прав человека нет ни права на шифрование, ни права на анонимность в интернете. Но в Организации Объединённых Наций — самой главной международной организации, которая в том числе следит, чтобы права человека соблюдались по всему миру — говорят: шифрование дает людям возможность сохранять неприкосновенность частной жизни в интернете, и государства не могут произвольно, без веских причин, его ослаблять.

Люди, которые несколько десятков лет назад ломали голову над тем, как сформулировать базовые права и свободы человека, не могли представить, как вскоре будет выглядеть жизнь этого человека. Каждое утро я встаю и спрашиваю умную колонку «Алиса», сколько времени займет дорога на такси от моего дома до работы; значит, «Яндекс», производитель колонки — точно знает, где я живу и работаю. Я вызываю такси через приложения в телефоне — значит, корпорации, которые владеют этими приложениями, знают обо всех моих передвижениях в течение дня. Я оплачиваю все покупки банковскими картами и трачу деньги в интернет-магазинах; заказываю продукты онлайн. Значит, как минимум десяток компаний и несколько крупных корпораций в курсе, что я ем, где одеваюсь, какие книги читаю и фильмы смотрю. Мой старый телефон разблокировался по отпечатку пальца, а нынешний — по геометрии моего лица: следовательно, все эти данные есть у корпорации Apple. Я ношу фитнес-браслет — он в курсе даже, когда у меня учащается сердцебиение. Не говоря уже о том, что за день я гуглю сотни запросов: корпорация Google знает все о моих мыслях и желаниях.