Azərbaycan dilində süni intellekt və NLP-nin inkişafı üçün layihə hazırlanıb
Biz bir neçə gəncdən ibarət komanda Azərbaycan dilində süni intellekt və NLP-nin inkişafı üçün layihə hazırlayıb.
Komandanın üzvü Kənan Süleymanlının Marja-ya təqdim etdiyi məlumatda bildirilir ki, son günlərdə süni intellekt və NLP (təbii dil işlənməsi, ing., “natural language processing”) bütün dünyada trend olduğunun şahidi oluruq. Xüsusilə, ChatGPT kimi söhbət botlarının hər kəsimdən şəxsin istifadəsində olması bu sahəni daha maraqlı edir. Bir çox sahədə olduğu kimi sözügedən sahələrdə də əksər tədqiqat işləri ingilis dili kimi yüksək resurslu dillərlə aparılmasına, az resurslu dillər üçün bu kimi sahələrdə ikinci planda olduğuna şahid olmaqdayıq. Ana dilimiz də bu az resurslu dillər siyahısında olduğundan süni intellekt və NLP kimi sahələrdə ana dilimizdə resurs və alət tapmaq demək olar ki, mümkün deyildi. Lakin son günlərdə bir neçə gəncdən ibarət komandanın hazırladığı NLP üçün ən vacib detallardan biri olan azərbaycanca korpus bu sektordan olan hər kəsin marağını cəlb etməkdədir.
Müxtəlif NLP layihələrində (mətn yaratma, çatbotlar və s.) istifadə oluna biləcək “azcorpus” Azərbaycan dilində ümumilikdə 1,9 milyon mətndən və təqribən 18 milyon cümlədən ibarətdir. Mətnlər xəbər saytları, jurnallar, vikipediya məqalələri, kitablar daxil olmaqla müxtəlif mənbələrdən seçilmişdir və siyasət, iqtisadiyyat, elm, mədəniyyət, idman, tarix, cəmiyyət və s. o cümlədən bir sıra digər mövzuları əhatə edən mətnlərlə janr və mövzu üzrə əhatə olunub.
Ən əsası isə, “azcorpus” təkcə bədii ədəbiyyat deyil, həm də fizika, kimya və s. kimi elmi mətnləri də əhatə edəcək şəkildə genişləndirilib.
“Azcorpus”da hal-hazırda 3 müxtəlif mənbədən götürülmüş (az_books, az_wiki və az_news) və təmizlənmiş toplamda 1,876,492 sənəd var. Hazırda korpusun ümumi həcmi 23.4 GB təşkil edir. Müqayisə üçün qeyd edək ki, hal-hazırda trend olan GPT-3 modeli müxtəlif mənbələrdən toplanmış 800 GB həcmli data, GPT-2 modeli isə 40 GB data üzərində öyrədilib.
Korpus üzərində işləyən komanda bildirir ki, bu korpusu geniş ictimaiyyət üçün əlçatan etməklə onlar Azərbaycan dilində NLP həllərinin yaradılması üçün gələcək tədqiqat və inkişafı stimullaşdırmağa, eyni zamanda dil müxtəlifliyi və mədəni irsin təşviqi kimi daha geniş məqsədə töhfə verməyə ümid edirlər.
Korpusdan istifadə etmək üçün bu linkidən istifadə edə bilərsiniz.
Müştərilərin xəbərləri
SON XƏBƏRLƏR
- 1 ay sonra
- 3 həftə sonra
-
1 həftə sonra
“Sizin Lombard”ın “36% Qızıl payız” kampaniyası davam edir ®
-
- 6 gün sonra
-
23 d. əvvəl
Azərbaycanla Vyetnam arasında birbaşa aviareyslərin açılması müzakirə olunub
-
26 d. əvvəl
Noyabrın 21-də gözlənilən hava şəraiti - 21 dərəcə isti gözlənilir
-
31 d. əvvəl
Bakı Fond Birjasında qayda pozuntusu aşkarlanıb – Listinq Komitəsinin sədri cərimələnib
- 32 d. əvvəl
-
1 saat əvvəl
Milli Məclisin növbəti iclası noyabrın 24-də keçiriləcək, 10 məsələ müzakirə olunacaq
- 1 saat əvvəl
-
1 saat əvvəl
“AzInTelecom” SİMA həllərini Portuqaliyada keçirilən “Web Summit”də təqdim edib ®
-
2 saat əvvəl
AccessBank QSC WEB Application Firewall üzrə tender elan edir ®
Son Xəbərlər
Boş qalan iş yeri şirkətinizə neçəyə başa gəlir?
İş elanlarına bax - azvak.az
“Sizin Lombard”ın “36% Qızıl payız” kampaniyası davam edir ®
“Trendyol”da “Əfsanə günlər ” başlayır ®
Noyabrın 21-də gözlənilən hava şəraiti - 21 dərəcə isti gözlənilir
Tezliklə Vyetnamın Azərbaycanda səfirliyi açılacaq
Milli Məclisin növbəti iclası noyabrın 24-də keçiriləcək, 10 məsələ müzakirə olunacaq
Ən çox oxunanlar
"Rəqəmsal Maliyyə Mərkəzi"nə direktor təyin edilib
AccessBank QSC WEB Application Firewall üzrə tender elan edir ®
AKİA sədri Yalçın Camalov: Dövlət Proqramı üzrə cari ildə nəzərdə tutulan subsidiyaların ödənilməsinə başlanıb
ABB DAVR-ın Müşahidə Şurasının sədri Taleh Tahirli oldu
ABB DAVR-a lisenziya verildi
Hotellərin Yeni il proqramları və qiymətləri - 810 manatdan...



















