Правительственный чат-бот Нью-Йорка поймали на лжи о городских законах

Совместное расследование The Markup и The City выявило недостатки чатбота. MyCity, рекламируемый как инструмент для экономии времени с «действенной и достоверной информацией», вводил пользователей в заблуждение относительно основных правил. Например, бот утверждал, что арендодатели могут отказываться от ваучеров на жилье по разделу 8, что противоречило официальной информации города о справедливой жилищной практике. Аналогичные несоответствия были обнаружены в отношении правил оплаты труда работников и специфических деталей отрасли, таких как цены похоронных бюро.

Проблема кроется в технологии MyCity. Работающий на базе Microsoft Azure, чат-бот полагается на предсказание следующего слова в последовательности, не понимая, что именно лежит в основе информации. Этот метод дает сбой, когда в обучающих данных отсутствуют точные ответы. The Markup даже задокументировал получение от MyCity как правильных, так и неправильных ответов на один и тот же вопрос.

Несмотря на то, что MyCity называет себя «бета-версией» и предупреждает пользователей о возможной неточности, официальный бренд MyCity рекламирует его как источник «официальной деловой информации Нью-Йорка». Такой диссонанс создает рискованную ситуацию для владельцев бизнеса, полагающихся на бота при принятии важных решений, считают эксперты.

Управление по технологиям и инновациям Нью-Йорка защищает программу, утверждая, что она уже помогла многим получить «своевременные и точные ответы». Они утверждают, что намерены совершенствовать инструмент.