Не секрет, что для обучения моделей искусственного интеллекта используют произведения настоящих писателей. Чтобы нейросети могли генерировать грамотные тексты требуется огромное количество литературы. Разработчики программ ИИ это понимают, поэтому закупают через посредников подержанные книги, чтобы на их основе создавать достойный материал для обучения технологий.

В последние годы ситуация с текстами для нейросетей резко ухудшилась: интернет заполнили некачественные сгенерированные произведения, которые не подходят для обучения ИИ.

Разработчики нашли выход: они стали закупать книги, выпущенные до 2022 года. Именно так поступил один из ведущих разработчиков искусственного интеллекта Anthropic. Для обучения Claude он приобрел у Better World Books огромное количество печатных изданий. Оцифровка текстов обошлась разработчику в несколько миллионов долларов. В результате у Claude появился качественный обучающий материал, но судьба купленных книг оказалась плачевной - после проделанной работы, они были уничтожены.

На судебном заседании добровольное использование изданий Anthropic подтвердилось, но разработчику все равно предъявили обвинение за создание библиотеки из 7 млн пиратских электронных книг. Размер штрафа составит 1,5 млрд долларов.

Еще одним фигурантом дела об обучении ИИ на основе авторский произведений, стала корпорация Google. Коалиция издателей обвинила ее в незаконной закупке миллиона копий книг для развития программы Gemini.

Базы данных каталогизированных книг вынуждены подстраиваться под меняющиеся обстоятельства. Например, ISBNdb предоставляет услуги оптовой закупки для разработчиков ИИ. В базе содержатся сведения о 111 млн изданий. Раньше книги у ISBNdb приобретали продавцы, библиотеки и дистрибьютеры. Теперь база данных завалена заказами от разработчиков нейросетей. За одну транзакцию выходит от тысячи до миллиона экземпляров .

Продажи растут и в других организациях, предоставляющих книги для ИИ. Подобные сделки проходят быстро: покупатели не торгуются даже при завышенных ценах, а сами закупки представляют собой наименования с 13-значным идентификатором ISBN. Жанр и авторы изданий покупателей также не интересуют - им важны сами тексты.

На суде подтвердилось использование разработчиками нескольких компаний для закупки литературы. В качестве свидетеля выступил инженер Том Харви. Раньше он участвовал в создании платформы Google Books и курировал в Anthropic программу по цифровизации книг - Project Panama.

Среди компаний, предоставляющих услуги сканирования литературных текстов, Харви упомянул Datamation Information Services. Организация оцифровывает книги двумя способами. В первом случае применяют щадящие сканеры. Второй метод эффективнее и дешевле, но в результате его воздействия издания уничтожаются. Суть метода в разборе книг на страницы и отправке материала на промышленный сканер. Второй метод работы популярен у разработчиков ИИ.

Нейросетям необходимы авторские книги для формирования качественной текстовой базы, но в процессе подготовки образовательного материала, изымаются миллионы книг. Эксперты опасаются, что среди изданий могут быть редкие тома. 

Еще одна тревога касается доступности отсканированных текстов. После оцифровки материалы попадают в закрытые базы данных. Если разработчики продолжат в том же духе, то ИИ станет умнее, а ценные книги окажутся недоступны широкой аудитории. Эксперты считают изъятие изданий из обращения неэтичным.