Правительственный чат-бот Нью-Йорка поймали на лжи о городских законах

Чат-бот Нью-Йорка «MyCity», запущенный в октябре прошлого года для оптимизации бизнес-операций, подвергся критике за предоставление неточной и потенциально вредной информации. Бот, рекламируемый как единое окно для получения официальных данных о городском бизнесе, был пойман на том, что давал неверные ответы по таким важным темам, как нормативные акты и права работников. Совместное расследование The Markup и The City выявило недостатки чатбота. MyCity, рекламируемый как инструмент для экономии времени с «действенной и достоверной информацией», вводил пользователей в заблуждение относительно основных правил. Например, бот утверждал, что арендодатели могут отказываться от ваучеров на жилье по разделу 8, что противоречило официальной информации города о справедливой жилищной практике. Аналогичные несоответствия были обнаружены в отношении правил оплаты труда работников и специфических деталей отрасли, таких как цены похоронных бюро. Проблема кроется в технологии MyCity. Работающий на базе Microsoft Azure, чат-бот полагается на предсказание следующего слова в последовательности, не понимая, что именно лежит в основе информации. Этот метод дает сбой, когда в обучающих данных отсутствуют точные ответы. The Markup даже задокументировал получение от MyCity как правильных, так и неправильных ответов на один и тот же вопрос. Несмотря на то, что MyCity называет себя «бета-версией» и предупреждает пользователей о возможной неточности, официальный бренд MyCity рекламирует его как источник «официальной деловой информации Нью-Йорка». Такой диссонанс создает рискованную ситуацию для владельцев бизнеса, полагающихся на бота при принятии важных решений, считают эксперты. Управление по технологиям и инновациям Нью-Йорка защищает программу, утверждая, что она уже помогла многим получить «своевременные и точные ответы». Они утверждают, что намерены совершенствовать инструмент.