×

 

Предыстория.

В неделю с 12-го по 18-тое апреля в топ-10 поисковых запросов на Amazon.com входили: туалетная бумага, маска для лица, дезинфицирующее средство для рук, бумажные полотенца, спрей Lysol, салфетки Clorox, маска Lysol, маски для защиты от микробов и маска N95. Естественно, люди не только искали, но и покупали всё это. Причём – в невероятных количествах. Большинство пользователей, искавших маски, в конечном итоге приобретали бестселлер – упаковку из 50 штук.

Когда угроза COVID-19 приняла мировые масштабы, мы начали покупать вещи, не интересовавшие нас никогда прежде. И сдвиг фокуса нашего внимания был довольно внезапным: так, на том же Amazon, основные фавориты (снова речь о первой десятке товаров) были низвержены с олимпа в считанные дни. Лондонская Nozzle, консалтинговая компания, специализирующаяся на алгоритмической рекламе для продавцов Amazon, в простом графике зафиксировала кардинальное изменение запросов клиентов из разных стран в течение всего пяти дней. Заметьте: эти данные только за февраль, но уже тогда Италии потребовалось всего два дня на глобальную смену приоритетов.

В конце февраля потребовалось меньше недели, чтобы во многих странах списки топ-10 поисковых запросов на Amazon пополнились продуктами, связанными с новой коронавирусной инфекцией. 

Вы можете отследить распространение пандемии по тому, что и как мы покупали в связи с нею: сначала спрос достиг пика в Италии, за ней следуют Испания, Франция, Канада и США. Великобритания и Германия немного отстают. «Это невероятная трансформация для пяти дней», – говорит Раэль Клайн, генеральный директор Nozzle. Волна эффекта была замечена во всех розничных цепочках поставок.

 

В чём проблема?

Эта внезапная хаотичная изменчивость в нашем онлайн-поведении привела к сбоям там, где мы менее всего этого ожидали: в системах машинного обучения, завязанных именно на этом самом нашем поведении. В работе закулисных алгоритмов управления запасами, обнаружения мошенничества, ведения маркетинга и многих других сфер накопилось множество критически важных ошибок. Модели машинного обучения, сформированные в нормальных условиях, при нормальном человеческом поведении, попав в необычные для них реалии, обнажают не столько недостатки и недочёты самого подхода к обучению, сколько ограниченность адаптивности алгоритмов к изменчивости ситуации (хоть эти аспекты и связаны неразрывно). Многие из них уже просто не работают должным образом. 

Но есть и другие мнения, так что насколько плоха ситуация зависит от того, с кем вы разговариваете. Так, по мнению компании Pactera Edge, поставщика ИТ-услуг и глобального консультанта по вопросам искусственного интеллекта, «автоматизация в штопоре». Другие же просто – и даже буднично – держат руку на пульсе самых уязвимых автоматизированных систем (тех, что вот-вот остановятся) и по надобности производят коррекционные вмешательства вручную.

Наиболее примечательно во всём этом то, насколько тесно наши жизни оказались связаны с ИИ. Налицо деликатная кольцевая зависимость, в которой изменения в нашем поведении меняют работу машин, а она, в свою очередь, сказывается на нашем же поведении. Пандемия также показала (точнее – напомнила), что участие человека в автоматизированных системах всё-таки остаётся ключевым. «Вы не сможете сесть и забыться, находясь в таких необычных обстоятельствах», – говорит Клайн.

Естественно, модели машинного обучения разрабатывались с учётом необходимости адекватно реагировать на изменения. Но, являясь высокоточными тонко настроенными системами, большинство из них всё же хрупки: они плохо работают, когда входные данные слишком сильно отличаются от тех, на которых строилось обучение. «Ошибочно полагать, что вы можете настроить систему ИИ и уйти, – поясняет Раджив Шарма, вице-президент Pactera Edge. – ИИ – это живой, дышащий двигатель». А мы же не льём в ДВС, например, варенье?

Шарма говорил с несколькими компаниями, столкнувшимися с такими сбоями. Одна из них – поставщик соусов и приправ розничным торговцам в Индии, где это означает весьма динамичный товарооборот – нуждалась в исправлении автоматизированной системы управления запасами, когда оптовые заказы нарушали прогнозы алгоритмов. Другими словами, прогнозы продаж системы, на которые компания рассчитывала в деле оптимизации пополнения запасов, больше не соответствовали тому, что фактически продавалось. «Он (алгоритм) никогда не тренировался на таком скачке, как этот, поэтому система вышла из строя», – пожимает плечами Шарма.

Другая фирма с помощью ИИ занимается оценкой настроения новостных статей и на основе результатов предоставляет ежедневные рекомендации по целесообразности инвестирования куда бы то ни было. Но в настоящее время эта перспектива мрачнее обычного: «совет будет очень искажённым», – предостерегает Шарма. И крупная компания потокового вещания, которую внезапно наводнили голодные до контента подписчики, по его словам также испытывает проблемы с алгоритмами рекомендаций. Чтобы удержать или вернуть зрителя актуальными персонализированными предложениями контента, компания продолжает использовать машинное обучение, вроде бы отлично себя зарекомендовавшее. Но внезапное изменение интересов подписчика и прочих его данных сделает рекомендации системы менее точными.

Многие из этих проблем с моделями возникают потому, что системы машинного обучения покупает всё больше компаний, у которых нет собственных возможностей, идей, наработок, способов и персонала для обслуживания этих систем. А в большинстве случаев переподготовка модели потребует вмешательства специалиста. Начало формы

Конец формы

Нынешний кризис также показал, что всё может стать хуже, чем малореальные и, честно сказать, довольно ванильные сценарии наихудшего случая, включённые в «тренировочные наборы» для обучения. Шарма считает, что Искусственный Интеллект следует больше обучать не только взлётам и падениям за последние несколько лет, но и таким странным для них событиям, как Великая депрессия 1930-х годов, обвал фондового рынка в чёрный понедельник в 1987 году и финансовый кризис 2007-2008 годов. «Такая пандемия является идеальным стимулом для создания более совершенных моделей машинного обучения», – говорит он.

И всё же, мы не можем быть готовыми ко всему на свете. «В целом, если система машинного обучения не видит того, что она рассчитывает увидеть, у вас будут проблемы», – говорит Дэвид Экселл, основатель Featurespace, компании по анализу поведения, использующей ИИ для обнаружения мошенничества с кредитными картами. Возможно вы удивитесь, но Featurespace не считает перспективы своего ИИ слишком плачевными. Люди все ещё покупают вещи на Amazon и, как и прежде, подписываются на Netflix. Но кое-что всё же изменилось: они не покупают дорогие товары и не тратят деньги в новых местах, что может вызвать подозрения. «Теперь стратегия расходов у людей сводится к сокращению их старых покупательских привычек», – говорит Экселл.

По его словам, инженерам фирмы пришлось вмешаться, чтобы приспособиться к росту числа людей, покупающих садовую технику и электроинструменты. Это те виды аномальных покупок в средней ценовой категории, которые могли быть заподозрены алгоритмами обнаружения мошенничества. «Я думаю, что там наверняка больше ошибок, – признаёт Экселл. – Мир изменился, и данные изменились».

Правильный тон

Лондонская Phrasee - ещё одна компания, практикующая ИИ-технологии. С помощью обработки естественного языка и машинного обучения она производит от имени своих клиентов рекламные сообщения на электронную почту или объявления в Facebook. Обеспечение правильного звучания является важной частью работы компании. А суть вот в чём: Искусственный Интеллект генерирует множество возможных фраз, затем пропуская их через нейронную сеть, которая выбирает лучшие из них. Но поскольку генерация на естественном языке может пойти совсем не так, как задумано, компания всегда поручает людям проверять, что входит и выходит из её ИИ.

Когда грянул COVID-19, во Phrasee поняли, что чувствительности может потребоваться больше, чем обычно, и стали отфильтровывать дополнительный язык. Компания запретила использование определённых фраз типа «вирусное распространение» и не допускает формулировки, которые относятся к нежелательным действиям, таким как «одежда для вечеринок». Они даже отбраковали смайлики, которые можно считать слишком счастливыми или слишком тревожными. Кроме того, в новом языковом наборе пропущены сленговые, разговорные термины и возгласы вроде «OMG», «будь готов», «запасайся» и «готовься», поскольку они могут вызывать беспокойство. «Люди не хотят, чтобы реклама заставляла их беспокоиться или чувствовать испуг – вы знаете, всё это должно закончиться, давление давление давление», – подытожил Парри Мальм, генеральный директор фирмы

Однако, вы не сможете победить Amazon как микрокосмос для розничной торговли в целом. Это то место, где делаются тончайшие закулисные корректировки. Поскольку этот гигант и два с половиной миллиона сторонних продавцов поддерживают борьбу за удовлетворение спроса, здесь вносятся небольшие изменения в алгоритмы, что здорово помогает распределить нагрузку.

Большинство продавцов Amazon используют его для выполнения своих задач. Многие продавцы хранят свои товары на складах Amazon’а, который сам позаботится обо всей логистике, доставке на дом и обработке возвратов. К тому же платформа продвигает продавцов, чьи заказы она выполняет сама. Например, если вы выполняете поиск определённого элемента (например, переключателя Nintendo), то появившийся вверху рядом с заметной кнопкой «Добавить в корзину» результат, скорее всего покажет продавца, использующего логистику Amazon, чем того, который этого не делает.

Но в последние несколько недель, как говорит Клайн, руководство торговой площадки изменило взгляды: чтобы облегчить ситуацию со спросом на свои собственные склады, теперь её алгоритмы, по-видимому, более склонны продвигать продавцов, которые сами осуществляют свои доставки. 

Взрывоопасные рынки

Такую настройку было бы трудно сделать без ручного вмешательства. «Ситуация слишком нестабильна, – говорит Клайн. – На прошлой неделе вы пытались оптимизировать работу с туалетной бумагой, а на этой каждый хочет купить пазлы или оборудование для тренажёрного зала».

Уловки, к которым Amazon прибегает в своих алгоритмах, оказывают влияние на алгоритмы продавцов, призванные прогнозировать обоснованность и размеры рекламных вложений. С их помощью магазины решают сколько они могут потратить на онлайн-рекламу и что, собственно, рекламировать. Сам процесс устроен следующим образом: каждый раз, когда загружается веб-страница с рекламой, проводится супер-быстрый аукцион, на котором автоматические участники торгов сами выбирают, кто заполняет каждый рекламный блок. Сумма, которую эти алгоритмы решают потратить на рекламу, зависит от множества переменных, но в конечном итоге решение основано на оценке стоимости вашего взгляда для них. Дело в том, что существует множество способов предсказать поведение клиента, включая не только данные о его прошлых покупках, но и выведенные на основе вашей активности в глобальной сети места на странице, в которых рекламные кампании попадут в область вашего внимания. Просто они знают куда вы – да, лично вы – посмотрите. И пускают это «место под солнцем» вашего взгляда с молотка.

Но теперь, обращает внимание Клайн, одним из лучших показателей перспективы совершения покупки по объявлению стала продолжительность требуемых на доставку сроков. С учётом этого изменяет справлявшиеся ранее алгоритмыи Nozzle, о чём сообщается клиентам. Важность этих корректировок наглядно представляется на следующих примерах: если вы считаете, что привезти товар клиенту быстрее конкурента у вас не получится, то возможно и не стоит пытаться перебить оного на соответствующем рекламном аукционе. С другой же стороны – если вы знаете, что у вашего конкурента нет на складе необходимого товара, то вы можете снизить цену, с известной долей риска поставив на то, что оппонент не потянет такую игру.

«Всё это возможно только с помощью специальной команды, держащих такие вещи под контролем», – говорит Клайн. Он считает, что для многих нынешняя ситуация является, по сути, откровением. Люди полагали, что слово «автоматизированные» в описании систем тождественно понятию об их автономности. Но это не так: системы не могут работать целиком самостоятельно. Да и сумеют далеко не всё, а лишь то, чему мы их научим. «Вам нужна научная команда по данным, которая может связать то, что происходит в мире, с тем, что происходит в алгоритмах, – советует гендиректор Nozzle. – Всегда будут вещи, в которых Алгоритм не сможет разобраться».

Будучи связанными со всем миром, негативные воздействия пандемии ощущаются повсюду. И хотя есть люди, испытывающие благодарность за эти испытания, в большинстве своём, то есть удел мировозрения, и далеко не все из нас смогут быть искренними в этом. Однако найти ложку мёда в этом всём нам однозначно стоит. Так, во многих сферах человеческой деятельности пандемия представила нашему взору механизмы, которые в обычных условиях остались бы скрытыми от внимания. И если уж мы готовы вынести урок, то самое время подвести итоги по недавно вскрывшимся проблемам и задаться вопросами о том, как можно улучшить проектирование систем и сделать их более устойчивыми, адаптивными? Просто получается, что…

если мы действительно хотим доверять машинам, нам нужно за ними следить.


По материалам MIT