Исследователь и специалист по машинному обучению Йохем Гитема (Jochem Gietema) заметил, что ИИ-генератор изображений от Apple предвзят в расовых вопросах. Например, когда он попросил обработать свою фотографию в стиле «баскетбол», то нейросеть сделал его чернокожим.
Генератор изображений от Apple доступен в приложении Playground. В нём можно выбрать фотографию человека и задать дополнительные параметры, например, выбрать локацию, одежду или аксессуары. Если в предложенных вариантах нет ничего подходящего, то можно описать желаемое изображение словами.
При этом система фильтрует запросы и не позволяет генерировать жестокие картинки или знаменитостей. Также важно отметить, что в Playground можно создавать изображения только в мультипликационном стиле или в виде рисунка. Это ещё один уровень безопасности от Apple, мешающий создавать фотореалистичные картинки.
Йохем Гитема загрузил в приложение свою фотографию и сгенерировал портрет без дополнительных условий. В некоторых случаях у исследователя возникло ощущение, что модель не может правильно различить черты лица, поэтому иногда делает Гитема чернокожим.
После ещё нескольких экспериментов Гитема заметил, что нейросеть предвзято относится к запросам, связывая некоторые темы с расой. Например, если попросить нейросеть обработать фотографию с запросом «катание на лыжах», то персонаж на картинках будет с белой кожей, а с запросом «баскетбол» — чернокожим.
Ещё несколько примеров:
Исследователь отмечает, что у него получилось воспроизвести такое поведение нейросети только с одной своей фотографией. Скорее всего это происходит из-за того, что модель не смогла правильно распознать черты лица из-за освещения. При этом Гитема уверен, что можно подобрать запрос так, чтобы предвзятость можно было воспроизвести с любой фотографией.
Автор: daniilshat
