ГлавнаяHI-TECH
Автор: Darakchi.uz

Создан открытый корпус текстов на узбекском языке объёмом 6 млрд слов

Корпус предназначен для развития возможностей ИИ.

Изображение 'Создан открытый корпус текстов на узбекском языке объёмом 6 млрд слов'

Министерство цифровых технологий Узбекистана опубликовало на платформе Hugging Face крупный корпус текстовых данных на узбекском языке.

Он включает 5,6 млн документов и около 6 млрд слов.

Данные представлены в узбекской латинской и кириллической графике. В корпус вошли оцифрованные книги, газетные и архивные материалы, законодательные документы, статьи Википедии, веб-страницы и открытые публикации в Telegram.

По информации министерства, тексты прошли обработку, отбор по качеству и тематическую классификацию. Персональные данные заменили специальными обозначениями, например [PHONE] и [NAME].

Корпус создан во исполнение поручения Президента Шавката Мирзиёева, данного на совещании 21 октября 2025 года. Тогда глава государства подчеркнул необходимость развития технологий искусственного интеллекта, способных полноценно понимать узбекский язык.

В министерстве сообщили, что сейчас ведётся работа по предоставлению корпуса разработчикам крупных языковых моделей. В частности, уже началось сотрудничество с Qwen.

Открытый корпус доступен на платформе Hugging Face: https://huggingface.co/datasets/Digitaluz/uzbek-language-corpus

Другие новости