Персонализация может снизить точность ИИ моделей. Исследователи из компании Writer опубликовали две работы, в рамках которых изучили влияние персонализации и систем памяти на работу современных ИИ-моделей, сообщает сайт ozgeris.info. Согласно результатам исследования, персонализация и сохранение данных могут не только улучшить взаимодействие с ИИ, но и ухудшить точность его ответов.
Во время одного из экспериментов ученые сообщили ИИ название любимой книги пользователя «Station Eleven», а затем попросили назвать популярный роман в жанре антиутопии. Модели стали чаще упоминать эту книгу, несмотря на то, что вопрос не имел отношения к предпочтениям пользователя. Во втором исследовании проверяли, как сохраненные убеждения пользователя влияют на анализ данных. Выяснилось, что если в памяти есть ошибочные убеждения пользователя, система чаще с ними соглашалась и давала менее точные оценки. По словам авторов работы, с каждой новой сохраненной пользовательской настройкой повышается риск того, что модель будет учитывать нерелевантную информацию и чаще соглашаться.
По мнению исследователей, разработчики ИИ систем должны найти баланс между персонализацией и сохранением объективности ответов, чтобы не снижать качество работы моделей.
