Fissare criteri di riferimento oggettivi per valutare e fare una classifica dei modelli linguisti di Intelligenza Artificiale in italiano: è la sfida di Calamita, acronimo di Challenge the Abilities of LAnguage Models in ITAlian, proposto dall'Associazione Italiana di Linguistica Computazionale. A determinare metriche e sfide sono chiamati tutti, dagli esperti del settore a semplici utenti, ma entro il 17 maggio.

Di Modelli Linguisti di grandi dimensioni, i cosiddetti Llm che sono alla base di gran parte dei servizi IA più usati come ChatGpt, ne esistono moltissimi, come appunto Gpt, LLaMa o Mistral e alcuni sono più diffusi di altri ma ogni modello ha delle peculiarità che può renderlo più adatto per specifiche funzioni. Poiché anche ogni lingua umana ha delle sue peculiarità e solo alcuni di questi sono addestrati anche in italiano diventa importante avere dei criteri di riferimento per poter valutare in modo puntuale ogni modello in base alle funzioni richieste.

Da questa necessità è nata Calamita, una call aperta a tutti per aiutare gli specialisti del settore riunito nella Ailc a definire nuove sfide, test di valutazione e regole. E’ possibile inviare le proposte fino al 17 maggio sul sito di presentazione della Decima Conferenza Italiana di Linguistica Computazionale che si terra a Pisa dal 4 al 6 dicembre. Tutte le proposte saranno poi ampliate e finalizzate così da formare nuovi riferimenti, benchmark, sulla quale gli esperti del settore metteranno alla prova vari modelli Llm per determinarne la capacità nel produrre testi in italiano. I risultati finali saranno presentati a Pisa in occasione della Conferenza organizzata dall’Ailc.