Почему ИИ испытывает трудности с анализом африканских манускриптов

Современные системы обработки текста умеют распознавать символы, однако с полноценным анализом африканских манускриптов часто возникают проблемы. Одна из причин в том, что язык сильно зависит от контекста. Смысл появляется в процессе общения между людьми, а не просто «зашит» в словах. При этом модели обучаются на текстовых корпусах, где нет тона речи, социальных сигналов и авторского намерения.

Профессор Мфо Примус из Университета Йоханнесбурга связывает это с концепцией Ubuntu. Это этическая система, в которой личность и значение формируются через отношения с другими людьми. Такой взгляд перекликается с современными представлениями о контекстной природе значения в лингвистике и NLP.

Для языков вроде волоф или мандинка привычный подход нейросетей работает плохо. Большинство моделей обучены на унифицированных текстах из Википедии или официальных документов. Когда алгоритмы сталкиваются с рукописями Сахеля, они нередко пытаются подогнать их под латинскую или стандартную арабскую логику письма, хотя эти тексты устроены иначе. Лингвисты называют подобное явление «цифровым колониализмом».

Проблемы заметны и в языках группы банту. Там встречаются межъязыковые омонимы: одно и то же слово может означать «я устал» в одном языке и «я проголодался» в другом. Разобраться помогает только социальный и географический контекст.

Есть и более практическая трудность, нехватка качественных размеченных данных. Эксперты считают, что крупные массивы данных «золотого стандарта» могли бы заметно улучшить распознавание таких текстов. Пока подобных ресурсов мало. Ограничения особенно заметны при работе с манускриптами на аджами, письменности, где на одной странице могут соседствовать канонические религиозные тексты и местные практики.

Аджами, система письма некоторых неарабских народов на основе арабского алфавита, по данным исследователей была самой массовой системой письма в доколониальной Африке и охватывала десятки языков. В таких рукописях встречаются исторические трактаты, поэзия, аннотации арабских текстов, а также описания ритуалов и эзотерических практик. Среди известных примеров наследие шейха Амаду Бамбы, основателя сенегальского суфийского ордена Муридия, включая его касыды (Khassayids).