GitHub опубликовал открытый GitHub Multilingual Repositories Dataset для исследований многоязычной разработки

GitHub выпустил GitHub Multilingual Repositories Dataset, набор метаданных на уровне репозиториев для исследователей и разработчиков, которые изучают многоязычный контент в публичных проектах. Он помогает находить репозитории GitHub, где в READMEs, issues и pull requests есть признаки использования естественного языка, отличного от английского. Данные опубликованы на GitHub под лицензией CC0-1.0.

При подготовке набора GitHub обратил внимание на различия в распределении языков между типами контента. Например, Korean, самый распространённый неанглийский язык в тексте issue, но среди READMEs он занимает лишь пятое место. В READMEs среди неанглийских языков лидирует Portuguese: он встречается более чем в 3 million репозиториев.

GitHub Multilingual Repositories Dataset содержит не сами тексты репозиториев, а метаданные. В него входит более 80 million строк классификаций для более чем 40 million репозиториев. Для каждого публичного репозитория приводятся классификации языка для README, наиболее комментируемого issue и наиболее комментируемого pull request. В качестве входного примера берутся первые 150 символов текста, при этом фрагменты короче 20 символов исключаются. Классификации формируются инструментами fastText, gcld3 и lingua-py и сопровождаются оценкой уверенности; в набор включаются только результаты с confidence выше 0.5. Также доступны метаданные репозитория: creation timestamp, disk usage, stars, forks, primary programming language, SPDX license, количество issue и pull request, а также snapshot date.

Набор данных опубликован в рамках обязательства, объявленного в 2025 году как часть Microsoft’s European Digital Commitments. Инициатива направлена на расширение доступности многоязычных данных, в том числе для разработчиков open source AI.