Сортировка по спорности

Спасибо, что разрешили опубликовать мою историю в вашем блоге. Мейнстримные СМИ — дерьмо, да и всё равно никто не поверит.

Всё началось в сентябре 2017. Я работал в маленьком стартапе по онлайн-рекламе. Видели рекламу в Фейсбуке и Твиттере? Мы консультировали компании, как им получить максимум кликов. Этот стартап — не буду его называть — собирался добавить глубокое обучение, потому что инвесторы заваливают деньгами всё, где есть слова "глубокое обучение". Обучаем сеть предсказывать, сколько лайков получит что-нибудь на Реддите. Затем спрашиваем, сколько лайков получит другая реклама. Затем берём ту рекламу, которая получит больше всего лайков. Этот парень (не я) объяснит лучше. Почему Реддит? Потому что лайки и дислайки проще, чем всякие разные реакции на Фейсбуке, а ещё сабреддиты позволяют таргетировать рекламу по демографическим группам, плюс существует архив из 1,7 миллиардов комментов с Реддита, который можно скачать для обучения. Мы обучили нейросеть предсказывать количество лайков по заголовку поста на Реддите.

Любая предиктивная сеть может служить и генеративной сетью. Если вы обучите нейросеть распознавать собак, вы можете запустить её в обратную сторону и генерировать изображения собак. Если вы обучите сеть предсказывать лайки на Реддите, вы можете запустить её в обратную сторону и генерировать высоколайковые заголовки. Мы с этим поэкспериментировали, и получилось очень смешно. Не помню точную фразу, но для /r/politics это было нечто вроде: "Дональд Трамп больше не президент. Все трансгендеры — президент". Для r/technology — что-то про Илона Маска, спасающего сетевую нейтральность. Можно также генерировать заголовки с максимальным числом дислайков, но это скучно: получится что-то вроде спама о таблетках для увеличения пениса.

На Реддите есть возможность сортировать посты по спорности. Алгоритм можете посмотреть здесь, но в двух словах: умножаем общее количество голосов (лайки + дислайки) на баланс (отношение лайков к дислайкам или наборот, смотря что меньше), и тем самым высвечиваем посты, которые провоцируют разногласия. Спорность хорошо продаёт, поэтому мы обучили нашу сеть предсказывать и это. Проект поручили новенькой индианке с длинным именем, которую мы звали Шири, и она не смогла заставить его работать, так что наш босс Брэд послал на помощь меня. Шири протестировала сеть на большом архиве из 1,7 миллиардов комментов, и сеть сгенерировала ряд спорно звучащих гипотетических сценариев политики США. Пока всё было неплохо.

Японцы тестировали своё биологическое оружие на китайских пленниках. Институт Таскиги заражал сифилисом афроамериканцев. Мы были, может, гуманнее, а может, глупее, потому что мы испытали Резак Шири на себе. У нас был приватный внутренний сабреддит для обсуждения дел компании, потому что Брэд хотел, чтобы мы все хорошо освоили эту платформу. Проблема Шири была в том, что она протестировала нейросеть на нашем сабреддите, и она просто выдавала тривиально истинные или тривиально ложные фразы. Никакой спорности, никакого места для дискуссий. Фраза, которой мы тогда занялись, касалась одной версии дизайна нашего кода. Обойдусь без подробностей, но вообразите, что вы собрали все в мире плохие и неправильные решения, запрограммировали максимально уродливо, и затем преподнесли конечному юзеру, выставив средний палец. Резак Шири выдал в качестве максимально спорного то утверждение, что дизайн нашего продукта должен быть вот таким. Минут десять мы обсуждали, где конкретно баг, а потом Шири сказала, что не понимает, почему программа генерирует очевидно истинные утверждения.

Шири не очень хорошо знала английский, так что я решил, что это проблема коммуникации. Я поправил её. Программа выдавала очевидно ложные утверждения. Шири упёрлась. Я всё ещё думал, что она что-то путает. Я объяснил ей смысл английских слов "истинный" и "ложный". Кажется, она обиделась. Я попросил подтвердить. Вправду ли она считает, что это чудовищное программное решение, этот план скомбинировать все плохие техники дизайна и исключить возможность когда-либо исправить ошибку — правильный способ построить нашу программную базу? Шири сказала "да". Хуже того, она удивилась, что я так не считаю. Она была уверена, что мы уже делаем примерно то же самое (на самом деле нет). Она считала, что отойти от этого плана означало бы полностью всё переписать и значительно ухудшить код.

В этот момент я усомнился, что я в здравом уме, так что мы зашли в соседний кабинет к Блейку и Дэвиду. Это были старшие кодеры нашей компании, и обычно они служили голосом разума. Они разговаривали о своей собственной проблеме, но я прервал их и показал режущую фразу. Блейк ответил разумно: "Зачем ты мне суёшь этот дебильный мусор?" Но Дэвид удивился, как и Шири, и начал доказывать, что идея вполне здравая. Мы четверо начали яростно спорить. Я всё ещё думал, что Шири и Дэвид просто не поняли вопроса, хотя Дэвид был англоязычным, а вопрос — кристально ясным. Тем временем Дэвид всё сильнее выходил из себя и протестовал, что он всё понял, а Блейк и я — просто дерьмовые программисты, не понимающие базовых архитектурных решений. Он настаивал, как и Сири, что режущая фраза — это план, который уже выполняется, и что любая попытка отойти от него поломает всё. Дошло до того, что мы решили пойти к Брэду и всё выяснить.

Брэд основал нашу компанию. Не верьте газетам: не каждый техно-предприиматель — алчный антисоциальный быдлан. Но в рекламе каждый таков. И Брэд был точно таким. Он был грубым и аморальным козлом. Но он умел обворожить инвесторов, и он умел программировать, в отличие от большинства боссов. Брэд явно разозлился, что вся команда кодеров ввалилась в его офис без предупреждения, но он нас выслушал.

Дэвид пытался объяснить проблему, но неверно интерпретировал почти каждый пункт. Я не мог поверить, что он врёт только для того, чтобы предстать перед Брэдом в лучшем свете. Я его перебил. Дэвид сказал не перебивать. Блейк сказал, что если бы Дэвид не врал, нам не пришлось бы его перебивать, и всё покатилось по наклонной. Посреди этой перепалки Брэд наконец понял, о чём мы говорим, и остановил нас всех. "Ничего тупее я не слышал". Брэд подтвердил, что первоначальный план вовсе не таков, что это предложение противоречит первоначальному плану, всем правилам хорошего программирования и хорошего бизнеса. Жалкие лузеры Дэвид и Шири обвинили меня с Блейком, что мы "отравили" Брэда. Дэвид сказал, что Брэд, конечно, поддерживает нас, потому что мы с самого начала были его любимчиками. Мы загребали себе лёгкие и удобные проекты один за другим, пока он и Шири подбирали отбросы. Брэд назвал его болваном и приказал вернуться к работе. Дэвид отказался.

Эта глава истории закончилась в восемь вечера: Брэд уволил Дэвида и Шири за вопиющую некомпетентность, вопиющее отсутствие субординации и общую человеческую гнусность. Он произнёс длинную речь о том, что рискнул нанять Дэвида и Шири, хотя с самого начала знал, что они неквалифицированные никчемушники, а они каждый раз платили ему за доброту бездельем и саботажем. Он назвал их сливными бачками компании, имея в виду, что они работают на конкурентов. Сами же Дэвид и Шири назвали его боссом-абьюзером, всю компанию — разводкой для уязвимых сотрудников с целью заставить их впахивать ради личного обогащения Брэда, а нас с Блейком — его подельниками.

Было восемь вечера. Перепалка в офисе Брэда шла пять часов. В 8-01, после того как Дэвид и Шири хлопнули дверью, мы посмотрели друг на друга и подумали: твою мать, этот фильтр спорности работает.

Повторю. Ни разу за пять часов споров нам это не пришло в голову. Мы были слишком увлечены сутью вопроса — самой режущей фразой. У нас не было возможности остыть и подумать, что весь этот спор породило утверждения, созданное быть максимально спорным. Но в 9-01, когда спор закончился и мы выиграли, мы остыли и подумали: твою мать.

Тем вечером мы слишком устали, чтобы размышлять об этом, но на следующий день мы — Брэд и два оставшихся кодера — устроили совещание. Мы обсудили то, что имели. Брэд дал ему имя: Резак Шири. На каком-то мёртвом языке резак (scissor) — однокоренное слово с расколом (schism). Резак — это раскалыватель, создатель раскола. Вот что было у нас на руках. Мы решили перейти от онлайн-рекламы к супероружию. Нужно было звонить в Пентагон. Сказать им, что у нас есть программа, заставляющая людей ненавидеть друг друга. Этика? Мы были онлайн-рекламщиками; за клики мы продали бы родных бабушек сомалийским работорговцам. Это остановку давно проехали.

Нельзя так просто позвонить в Пентагон и сказать, что у вас есть супероружие. Даже если вы из Кремниевой Долины, вам не поверят с первого слова. Но Брэд задействовал дружеские связи, и где-то через неделю после увольнения Дэвида и Шири в нашей переговорной стоял полковник из ДАРПА и спрашивал, какого хрена мы думаем, что сделали что-то важное.

Возникла проблема. Мы не могли показать полковнику режущую фразу, из-за которой уволили Дэвида и Шири. Он не работал в нашей компании и не работал в рекламе; это показалсь бы ему скучным. Мы не хотели гененировать новые режущие фразы для Пентагона. Даже Брэд понимал, что если ввергнуть армию США в гражданскую войну, это плохо скажется на кликах. Наконец мы выработали план. Мы объяснили полковнику, что такое Реддит. А затем спросили, какое сообщество расколоть для него в виде демонстрации.

Он секунду подумал и сказал "Мозамбик".

Мы недооценили культурный разрыв. Когда мы попросили полковника выбрать сообщество в жертву Резаку, мы ожидали "игроков в настольные тактические игры" или "фанатов My Little Pony". Но у полковников из ДАРПА другой взгляд на мир. Он сказал "Мозамбик". Я попытался объяснить, что на Реддите всё по-другому, что это должна быть группа со своим собственным сабреддитом. Брэд перебил меня и сказал, что у Мозамбика есть сабреддит.

В глазах Брэда как будто крутились шестерёнки. Одна говорила: "этот мужик и так скептичен; если мы покажем ему слабость, он просто окончательно спишет нас со счетов". Другая подсчитывала, сколько кликов генерирует Мозамбик. Мене мене текел упарсин. "Ага, — сказал Брэд. — Отличный сабреддит. Мы сделаем Мозамбик".

Полковник дал нам визитку и вышел. Блейк и я занялись обучением Резака Шири на мозамбикском сабреддите. Этика, я знаю. Но как я сказал — онлайн-рекламный бизнес, остановка, проехали. Единственная уступка гуманности, которую мы себе позволили — взяли десятый вариант из предложенных нейросетью. Мы не хотели всё разрушать, только продемонстрировать. Сеть сгенерировала фразу, обвиняющую премьер-министра в том, что он выразил неуважение к исламу в определённной форме — опять же не буду уточнять. У нас не было лучшего метода, и мы в личном сообщении админам мозамбикского сабреддита спросили, что они думают. Не помню, как мы это объяснили — что-то типа того, что мы американские студенты-политологи, изучающие мозамбикскую культуру. Пусть они спросят каких-нибудь друзей, что случится, если премьер-министр совершит такой поступок, и перешлют нам ответы.

Почти неделю мы работали над проектом подкопа под Мозамбик. Потом пришли новости. Дэвид и Шири подали в суд на нашу компанию за неправомерное увольнение и расовую дискриминацию. Брэд, Блейк и я — белые, Шири — индианка, а Дэвид — еврей. Этот иск только рассмешил бы суд — антисемитский стартап в Кремниевой Долине? — но вообще-то вся документация говорила о том, что не было никаких причин увольять Дэвида и Шири. На бумаге их работа выглядела хорошо. Они всегда получали хорошие оценки эффективности. Дела компании шли отлично — она даже разместила рекламу вакансий для новых программистов за пару недель до того.

Дэвид и Шири знали, за что их уволили. Но это не имело для них значения. Они были настолько ослеплены ненавистью к нашей компании, настолько одержимы режущей фразой, что солгали бы о чём угодно, лишь бы нас уничтожить. Мы попали в ловушку. Мы не могли признать существование Резака Шири, потому что хотели продать его Пенагону как секретное оружие, а кроме того, публичное признание в попытке уничтожить Мозамбик было бы плохим пиаром. Но суд требовал документов, говорящих, чем занималась наша компания перед увольнением и сразу после него. Настоящий оборонный подрядчик, вероятно, попросил бы Пентагон написать, что наши исследования засекречены. Но Пентагон всё ещё нам не верил. Полковник только отшучивался. Мы были в тупике.

Не знаю, как мы выпутались бы из юридических проблем, потому что на самом деле Брэд отправился к Дэвиду домой и попытался его избить. Вы сейчас подумаете: "что за псих", но поймите, что с Дэвидом всегда было тяжело работать, а во время спора в офисе Брэда он столько раз перешёл все границы, что действительно больше всех заслужил взбучки. Иск против компании был лишь последней соломинкой. Не могу судить Брэда после того, как он несколько месяцев разгребал за Дэвидом дерьмо, платил ему хорошие деньги, а Дэвид в конце концов предал его. Но в любом случае это погубило нашу компанию. Брэда арестовали. Больше некому было платить по счетам и сводить концы с концами. Мы с Блейком были кодерами и не разбирались в бизнесе. Мы положили заявления на стол — не буквально, потому что Брэд сидел в тюрьме — и так закончилась история Безымянной Компании Онлайн-Рекламы.

Мы легко отделались. Вот что важно подчеркнуть. Нам необъяснимо, невероятно повезло. Если бы мы с Шири начали спорить об одном из утверждений о США, мы бы разрушили страну. Если бы Резак Шири разработал гигант вроде Гугла, Резак разрушил бы Гугл. Если бы сгенерированная нами фраза не была всего лишь весьма специфическим фрагментом кода — если бы это было утверждение о технологии в целом, или о бизнесе в целом — мы бы разрушили экономику.

На самом деле мы разрушили только нашу компанию и, возможно, несколько ближайших конкурентов. Посмотрите на внутренние публикации по индустрии онлайн-рекламы за осень 2017 года, и вы увидите немало странного. История о том, как главу онлайн-рекламной компании арестовали за убийство, жестокое обращение с детьми, нападение на полицейского и ещё три-четыре преступления, а потом всё это оказалось ложными обвинениями, связанными с труднообъяснимым психическим расстройством — это только верхушка айсберга. Не могу убедительно объяснить, как конкретно распространялась режущая фраза, и почему она не распространилась шире, но уверен — если я займусь этим слишком тщательно, над моим домом закружат чёрные вертолёты. И больше я ничего об этом не скажу.

Сам я ушёл из этой индустрии вообще. Я нашёл работу в более стабильной компании, занимающейся машинным обучением для распознавания голоса, и стараюсь не слишком думать об этом. Я всё ещё злюсь, когда думаю о той версии дизайна программы, которую предложил Резак. Однажды в кафе я заметил кого-то похожего на Шири и подошёл с намерением высказать всё, что о ней думаю. Но это была не она, и я не отправился в тюрьму вслед за Брэдом. Я часто, слишком часто смотрел новости из Мозамбика, и несколько месяцев там было спокойно, а потом началось. Я до сих пор не знаю, имеем ли мы к этому отношение. Африка полна конфликтов, и если подождать, что-нибудь да случится. Полковник больше никогда со мной не связывался. Вряд ли он вообще воспринимал нас всерьёз. Вряд ли он даже смотрел новости из Мозамбика. Возможно, он видел их, но принял за совпадание. Возможно, он звонил в нашу компанию, получил ответ, что номер не обслуживается, и решил, что дело не стоит дальнейших розысков. Но время шло, конфликт в Мозамбике не разрастался, и я понадеялся, что с Резаком Шири в моей жизни покончено.