Les modèles de langage développés par le Golfe inscrivent l'arabe au cœur de l'IA

Les États du Golfe cherchent à devenir des leaders de l'IA en investissant dans la recherche et le développement et dans les start-ups (Photo, MBZUAI).
Les États du Golfe cherchent à devenir des leaders de l'IA en investissant dans la recherche et le développement et dans les start-ups (Photo, MBZUAI).
Short Url
Publié le Mardi 10 octobre 2023

Les modèles de langage développés par le Golfe inscrivent l'arabe au cœur de l'IA

  • ChatGPT comprend les demandes en arabe, mais les réponses peuvent sembler artificielles ou inadaptées
  • Désormais, les grands modèles de langage locaux peuvent saisir les nuances linguistiques et même comprendre les dialectes et les références culturelles

DUBAÏ: Lorsque ChatGPT a fait ses débuts l'année dernière, le programme d'intelligence artificielle a fait sensation dans le monde entier, car les utilisateurs ont pu communiquer avec une machine capable de se faire passer pour un autre être humain.

Toutefois, l'enthousiasme des technophiles du monde arabe s'est quelque peu émoussé en raison de la maîtrise limitée de l'arabe par ChatGPT, due en partie à la complexité de la langue, aux signes diacritiques, au système d'inflexion et aux dialectes régionaux.

Bien que ChatGPT, qui est basé sur un grand modèle linguistique (LLM), puisse comprendre les demandes en arabe et soit capable de les traduire, en particulier lorsqu'il utilise l'arabe standard moderne, les réponses peuvent sembler peu naturelles, tandis que les traductions littérales se révèlent parfois inadaptées.

C'est pourquoi Jais, un LLM conçu pour prendre en charge l'arabe, a été dévoilé en juillet, faisant entrer dans le courant dominant de l'intelligence artificielle (IA) l'une des langues les plus parlées au monde, bien que parfois négligée.

Jais, dont le nom rappelle le plus haut sommet des Émirats arabes unis à Ras al-Khaimah, est le fruit du travail d'une équipe d'universitaires et d'ingénieurs qui se sont lancés dans ce projet après avoir constaté que rares sont les LLM véritablement multilingues.

Le robot humanoïde Ameca accueille les visiteurs au musée du futur de Dubaï (Photo, AFP).

Téléchargeable sur la plateforme d'apprentissage automatique Hugging Face, Jais est le fruit d'une collaboration entre Cerebras Systems, l'université d’intelligence artificielle Mohammed ben Zayed (MBZUAI), et Inception, une filiale de la société G42, basée à Abu Dhabi.

«Il est essentiel que de grands modèles de langage soient développés pour des langues autres que l'anglais afin de garantir une innovation accessible à tous», a déclaré Andy Jackson, président-directeur général (PDG) d'Inception, à Arab News.

«Un LLM arabe de qualité est essentiel pour tous les secteurs, entreprises et organisations, ainsi que pour les particuliers. L'innovation prospère lorsque nous collaborons, et Jais établit une nouvelle norme pour le progrès de l'IA au Moyen-Orient, en veillant à ce que la langue arabe, avec sa profondeur et son héritage, trouve sa voix dans le paysage de l'IA.»

«Jais témoigne de notre engagement en faveur de l'excellence et de notre volonté de démocratiser l'IA et de promouvoir l'innovation.»

Les LLM sont des modèles fonctionnels d'apprentissage automatique qui utilisent des algorithmes d'apprentissage profond pour traiter et comprendre le langage humain naturel. Ces modèles sont ensuite entraînés sur de grandes quantités de données textuelles afin d'apprendre des modèles dans le langage.

Ces programmes, qui prolifèrent dans le sillage du succès de ChatGPT, sont capables de générer des textes sur un éventail apparemment infini de sujets, allant des articles académiques à la poésie.

Ce qui impressionne particulièrement, c'est leur capacité à créer des réponses à des questions de manière si convaincante qu'elles ressemblent à celles d'un être humain, dans presque tous les langages, y compris le codage.

Mais pour que ces langages soient convaincants, des programmeurs humains de langue maternelle sont souvent nécessaires pour fournir un niveau crucial de contexte et de compréhension qui peut améliorer la précision et la fiabilité.

«Jais est spécialement conçu pour la langue arabe et excelle à en saisir les subtilités et les nuances, ce qui garantit des réponses extrêmement précises et pertinentes sur le plan contextuel – un avantage certain par rapport aux modèles à usage général», a déclaré M. Jackson.

Les programmes d'IA adaptés à la langue arabe pourraient accroître l'accès à une nouvelle technologie révolutionnaire (Photo, MBZUAI).

«Cette spécialisation constitue un développement essentiel, car elle offre aux gouvernements, aux entreprises et aux particuliers du monde arabe la possibilité d'exploiter le potentiel de l'IA générative.»

Actuellement considéré comme l'un des principaux LLM arabes, Jais, un modèle à 13 milliards de paramètres, a été entraîné sur un nouvel ensemble de données de 395 milliards de tokens arabes et anglais sur Condor Galaxy, l'un des plus grands supercalculateurs d'IA en nuage au monde, lancé par G42 et Cerebras en juillet en utilisant 116 milliards de tokens arabes et 279 milliards de tokens anglais.

«Jais est né à Abu Dhabi et offre à plus de 400 millions d'arabophones la possibilité d'exploiter le potentiel de l'IA générative», a déclaré à Arab News Preslav Nakov, professeur et directeur adjoint du département de traitement du langage naturel au MBZUAI.

«Il facilitera et accélérera l'innovation, soulignant la place prépondérante d'Abu Dhabi en tant que plaque tournante de l'IA, de l'innovation, de la préservation de la culture et de la collaboration internationale.»

En tant que modèle à code source ouvert, Jais devrait inciter les scientifiques, les universitaires et les développeurs à accélérer la croissance d'un écosystème d'IA en langue arabe. Il pourrait également servir de modèle pour d'autres langues actuellement sous-représentées dans l'IA traditionnelle.

EN BREF

- Les grands modèles de langage, ou LLM, sont un type d'intelligence artificielle capable d'imiter l'intelligence humaine

- L'arabe est parlé par 400 millions de personnes, mais représente 1% du contenu mondial en ligne

- Jais a été créé par Cerebras, MBZUAI et une filiale de G42 appelée Inception

«Jais surpasse de loin les modèles arabes existants», a déclaré M. Nakov. «Il rivalise également avec les modèles anglais de taille similaire, bien qu'il ait été entraîné sur un nombre de données anglaises nettement inférieur.»

«Ce résultat passionnant montre que la composante anglaise du modèle a appris à partir des données arabes et vice versa, ce qui ouvre une nouvelle ère dans le développement et la formation de LLM.»

Lors du développement de Jais, une attention particulière a été accordée au prétraitement du texte arabe, en améliorant la prise en charge des caractéristiques uniques de la langue, y compris son style d'écriture et l'ordre des mots.

Jais maintient également un ensemble de données équilibré entre l'arabe et l'anglais pour des performances optimales, offrant une nette amélioration par rapport aux modèles dont la proportion de texte arabe est limitée.

Ses développeurs affirment que Jais, contrairement à d'autres modèles, saisit les nuances linguistiques et comprend même les différents dialectes arabes et les références culturelles.

«Jais facilite une personnalisation plus rapide pour des cas d'utilisation spécifiques en arabe et dissipe les inquiétudes concernant la propriété des données car il est basé aux Émirats arabes unis, offrant une solution rassurante pour les entreprises locales», a déclaré M. Jackson, PDG d'Inception.

Les LLM sont des modèles fonctionnels d'apprentissage automatique qui utilisent des algorithmes d'apprentissage profond pour traiter et comprendre le langage humain naturel (Photo fournie).

Le ministère des Affaires étrangères et le ministère de l'Industrie et des Technologies avancées des Émirats arabes unis, la Compagnie pétrolière nationale et le ministère de la Santé d'Abu Dhabi, Etihad Airways, First Abu Dhabi Bank et le groupe technologique mondial e& prévoient d'utiliser Jais, offrant des perspectives précieuses pour améliorer le modèle et ses applications dans leurs secteurs d'activité.

Compte tenu des efforts considérables de transformation numérique déployés par plusieurs gouvernements du Golfe, accompagnés d'investissements importants dans les industries de haute technologie et les startups technologiques locales, les programmes d'IA adaptés à la langue arabe pourraient élargir l'accès à une nouvelle technologie transformationnelle et remettre en question le monopole d'une poignée d'entreprises de la Silicon Valley.

Le mois dernier, le Technology Innovation Institute (TII), un centre de recherche émirati situé à Abu Dhabi, a lancé Falcon 180b, un modèle d'IA à code source ouvert. Fondé en 2020, le TII a présenté Falcon 40b, la première version de son modèle d'IA à code source ouvert, en mai dernier, après avoir dévoilé Noor, un modèle d'IA basé sur la langue arabe, l'année dernière.

Selon un rapport publié dans le magazine The Economist, TII est la branche de recherche appliquée de l'Advanced Technology Research Council (ATRC), une agence gouvernementale qui emploie un personnel multinational de 800 personnes travaillant sur des sujets allant de la biotechnologie et de la robotique à l'informatique quantique.

«Nous entrons dans le jeu pour bousculer les principaux acteurs», a déclaré Faisal al-Bannai, secrétaire général de l'ATRC, à The Economist, ajoutant que le TII créera de nouveaux modèles et applications destinés à des domaines spécifiques tels que la médecine et le droit.

Pour sa part, l'Arabie saoudite a lancé sa stratégie nationale pour les données et l'intelligence artificielle en octobre 2020, visant à devenir un leader mondial dans le domaine, alors qu'elle cherche à attirer 20 milliards de dollars (1 dollar = 0,95 euro) d'investissements étrangers et locaux d'ici 2030.

Le Royaume est également déterminé à préparer l'avenir de sa main-d'œuvre, dans un premier temps en formant et en développant plus de 20 000 spécialistes de l'IA et des données. En mai dernier, l'institut d'IA de Deloitte a été officiellement inauguré lors de la conférence Experience Analytics à Riyad.

La semaine dernière, l'Arabie saoudite a lancé des Olympiades nationales de programmation et d'intelligence artificielle ouvertes à tous les élèves des collèges et lycées. Selon les médias, environ 300 000 élèves seront sélectionnés parmi 3 millions de participants pour suivre une formation en programmation et en intelligence artificielle.

Cette initiative est le fruit d'une collaboration entre l'Autorité saoudienne des données et de l'intelligence artificielle, le ministère de l'Éducation et la Fondation du roi Abdelaziz et de ses compagnons pour le talent et la créativité (Photo, Mawhiba).

L'adoption par l'Arabie saoudite de la numérisation et des technologies émergentes devrait contribuer à hauteur de 2,4% à son produit intérieur brut d'ici 2030, selon un récent rapport du cabinet de conseil mondial PwC.

En termes de croissance annuelle moyenne de la contribution de l'IA par région, l'Arabie saoudite devrait obtenir une part de 31,3% dans l'expansion de la technologie entre 2018 et 2030, ajoute le rapport de PwC.

«L'IA se développe rapidement, et son impact se fera de plus en plus sentir dans tous les secteurs et domaines de la vie», a déclaré Nakov de MBZUAI. «Dans ce contexte, il est essentiel que le monde arabe ait accès à un LLM avancé qui puisse être adapté et utilisé dans tous les secteurs.»

«Les progrès rapides de l'IA signifient que les organisations qui ne parviennent pas à s'adapter et à commencer à utiliser l'IA le plus tôt possible seront laissées pour compte, ce qui rend encore plus essentiel l'accès du monde arabe à des LLM de qualité.»

Au-delà de ses applications commerciales, cependant, un aspect crucial d'un programme tel que Jais est sa capacité à soutenir les langues négligées, à les préserver dans une économie en évolution rapide et à promouvoir l'inclusion numérique.

Bien que l'arabe soit une langue officielle dans 22 pays et qu'il soit partiellement parlé dans 11 autres, il ne représente que 1% du contenu mondial en ligne, selon les créateurs de Jais. On peut espérer que l'avènement de l'IA et l'automatisation de la traduction rapide changeront la donne.

En plaçant la langue au premier plan de la révolution de l'IA, Jais et ses successeurs pourraient contribuer à maintenir la place prépondérante de l'arabe dans le monde et sa particularité culturelle à l'ère du numérique.

Ce texte est la traduction d’un article paru sur Arabnews.com 


Israël mène une série de frappes contre le Hezbollah au Liban

Des soldats libanais debout sur un véhicule militaire à Alma Al-Shaab, près de la frontière avec Israël, dans le sud du Liban. (AFP)
Des soldats libanais debout sur un véhicule militaire à Alma Al-Shaab, près de la frontière avec Israël, dans le sud du Liban. (AFP)
Short Url
  • Israël a frappé vendredi plusieurs sites du Hezbollah au sud et à l’est du Liban, ciblant notamment un camp d’entraînement de sa force d’élite al-Radwan, malgré le cessez-le-feu conclu en novembre 2024
  • Ces raids interviennent alors que l’armée libanaise doit achever le démantèlement des infrastructures militaires du Hezbollah le long de la frontière israélienne d’ici le 31 décembre

BEYROUTH: Israël a mené une série de frappes aériennes contre le sud et l'est du Liban vendredi matin, selon les médias officiels, l'armée israélienne affirmant viser des objectifs du Hezbollah pro-iranien dont un camp d'entrainement.

Malgré un cessez-le-feu conclu en novembre 2024 avec le groupe islamiste libanais, Israël continue de mener des attaques régulières contre le Hezbollah, l'accusant de se réarmer.

Selon l'Agence nationale d'information (Ani), les raids de vendredi, qualifiés en partie de "violents", ont visé une dizaine de lieux, certains situés à une trentaine de km de la frontière avec Israël.

Dans un communiqué, l'armée israélienne a affirmé avoir "frappé un complexe d'entrainement" de la force d'élite du Hezbollah, al-Radwan, où des membres de la formation chiite apprenaient "l'utilisation de différents types d'armes", devant servir dans "des attentats terroristes".

L'armée israélienne a également "frappé des infrastructures militaires supplémentaires du Hezbollah dans plusieurs régions du sud du Liban", a-t-elle ajouté.

L'aviation israélienne avait déjà visé certains des mêmes sites en début de semaine.

Ces frappes interviennent alors que l'armée libanaise doit achever le démantèlement le 31 décembre des infrastructures militaires du Hezbollah entre la frontière israélienne et le fleuve Litani, situé à une trentaine de km plus au nord, conformément à l'accord de cessez-le-feu.

Les zones visées vendredi se trouvent pour la plupart au nord du fleuve.

Le Hezbollah a été très affaibli par la guerre, avec notamment l'assassinat de son chef historique, Hassan Nasrallah, par une frappe israélienne en septembre 2024 à Beyrouth.

Depuis, les Etats-Unis ont accru la pression sur les autorités libanaises pour désarmer le groupe.


Pluies diluviennes et vents puissants ajoutent au chaos qui frappe Gaza

Sous des trombes d'eau, l'océan de toile et de bâches s'est transformé en marécage. Tous les auvents dégoulinent à grosses gouttes. (AFP)
Sous des trombes d'eau, l'océan de toile et de bâches s'est transformé en marécage. Tous les auvents dégoulinent à grosses gouttes. (AFP)
Short Url
  • A al-Zawaida, dans le centre de la bande de Gaza, des mares forcent les gens à marcher dans l'eau stagnante, qui leur arrive aux chevilles, ou à sauter d'un îlot de sable émergé à un autre
  • Selon un rapport de l'ONU, 761 sites, abritant environ 850.000 déplacés, présentent un risque élevé d'inondation dans la bande de Gaza

GAZA: Pelle à la main, des Palestiniens portant des sandales en plastique et des pulls fins creusent des tranchées autour de leurs tentes dans le quartier de Zeitoun, à Gaza-ville, rempart dérisoire face aux pluies torrentielles qui s'abattent depuis des heures.

Dès mercredi soir, la tempête Byron a balayé le territoire palestinien, bordé par la mer Méditerranée, inondant les campements de fortune et ajoutant à la détresse de la population, déplacée en masse depuis le début de la guerre entre Israël et le Hamas, le 7 octobre 2023.

A Zeitoun, le campement planté au milieu des décombres a des allures cauchemardesques, sous un ciel chargé de gros nuages gris et blancs.

Sous des trombes d'eau, l'océan de toile et de bâches s'est transformé en marécage. Tous les auvents dégoulinent à grosses gouttes.

Accroupis sur des briques posées dans la boue, un groupe d'enfants mangent à même des faitouts en métal devant l'ouverture d'un petit abri en plastique, en regardant le ciel s'abattre sur le quartier.

"Nous ne savions pas où aller" 

A al-Zawaida, dans le centre de la bande de Gaza, des mares forcent les gens à marcher dans l'eau stagnante, qui leur arrive aux chevilles, ou à sauter d'un îlot de sable émergé à un autre.

"La nuit dernière a été terrible pour nous et pour nos enfants à cause des fortes pluies et du froid, les enfants ont été trempés, les couvertures et les matelas aussi. Nous ne savions pas où aller", raconte à l'AFP Souad Mouslim, qui vit sous une tente avec sa famille.

"Donnez-nous une tente décente, des couvertures pour nos enfants, des vêtements à porter, je le jure, ils ont les pieds nus, ils n'ont pas de chaussures", implore-t-elle.

"Jusqu'à quand allons-nous rester comme ça? C'est injuste", dit-elle en élevant la voix pour couvrir le bruit des gouttes frappant la toile.

Selon un rapport de l'ONU, 761 sites, abritant environ 850.000 déplacés, présentent un risque élevé d'inondation dans la bande de Gaza.

Le territoire connait généralement un épisode de fortes pluies en fin d'automne et en hiver, mais la dévastation massive due à la guerre l'a rendu plus vulnérable.

"La situation est désespérée", résume Chourouk Mouslim, une déplacée originaire de Beit Lahia, dans le nord de Gaza, elle aussi sous une tente à al-Zawaida.

"Nous ne pouvons même pas sortir pour allumer un feu" pour cuisiner ou se chauffer, déplore-t-elle, avant d'ajouter qu'elle n'a de toutes les manières ni bois, ni gaz.

Dans ce territoire dont les frontières sont fermées, où l'aide humanitaire arrive en quantité insuffisante selon l'ONU, malgré l'entrée en vigueur d'une trêve le 10 octobre, les pénuries empêchent une population déjà démunie de faire face à ce nouveau problème.

Lointaine reconstruction 

Sous les tentes, les plus chanceux bâchent le sol ou le recouvrent de briques pour empêcher que le sable humide ne détrempe leurs affaires. Dans les zones où le bitume n'a pas été arraché, des bulldozers continuent de déblayer les décombres des bâtiments détruits.

Beaucoup de gens restent debout, à l'entrée des abris, plutôt que de s'asseoir une surface mouillée.

"La tempête a eu un impact grave sur la population, des bâtiments se sont effondrés et une grande partie des infrastructures étant détruite, elles ne permettent plus d'absorber cet important volume de pluie", note Mahmoud Bassal, le porte-parole de la Défense civile de Gaza.

Cette organisation, qui dispense des premiers secours sous l'autorité du Hamas, a affirmé que la tempête avait causé la mort d'une personne, écrasée par un mur ayant cédé. Elle a ajouté que ses équipes étaient intervenues après l'effondrement partiel de trois maisons durant les fortes pluies.

La Défense civile a averti les habitants restés dans des logements partiellement détruits ou fragilisés par les bombardements qu'ils se mettaient en danger.

"Les tentes, c'est inacceptable", estime M. Bassal, "ce qui doit être fourni maintenant, ce sont des abris qu'on peut déplacer, équipés de panneaux solaires, avec deux pièces, une salle de bain et toutes les installations nécessaires pour les habitants. Seulement à ce moment-là, la reconstruction pourra commencer".


Les clubs de la Saudi Pro League démentent toute discussion avec Mohamed Salah

Les clubs de football saoudiens n'ont pas envisagé de négocier le transfert de l'attaquant égyptien de Liverpool Mohamed Salah vers la Ligue professionnelle saoudienne, ont déclaré mercredi des sources officielles saoudiennes à Asharq Al-Awsat. (X/@FabrizioRomano)
Les clubs de football saoudiens n'ont pas envisagé de négocier le transfert de l'attaquant égyptien de Liverpool Mohamed Salah vers la Ligue professionnelle saoudienne, ont déclaré mercredi des sources officielles saoudiennes à Asharq Al-Awsat. (X/@FabrizioRomano)
Short Url
  • Un article d’Asharq Al-Awsat qualifie d’« rumeurs infondées » les insinuations médiatiques évoquant un possible départ de Salah vers le Royaume
  • Des sources affirment que les grands clubs Al-Hilal, Al-Nassr, Al-Ittihad et Al-Ahli, ainsi qu’Al-Qadisiyah et NEOM, n’ont jamais envisagé de contacter Salah, Liverpool ou son agent

RIYAD : Les clubs saoudiens n’ont à aucun moment envisagé de négocier le transfert de l’attaquant égyptien de Liverpool, Mohamed Salah, vers la Saudi Pro League, ont indiqué mercredi des sources officielles saoudiennes à Asharq Al-Awsat.

Des spéculations médiatiques au sujet de possibles discussions entre Salah et des clubs du Royaume ont émergé plus tôt cette semaine, après que le joueur a critiqué la direction du Liverpool Football Club et l’entraîneur Arne Slot.

Cependant, des sources saoudiennes ont rejeté ces affirmations, les qualifiant de « news promotionnelles » diffusées par l’agent de Salah et son entourage.

Les clubs de la Roshn Saudi League « n’ont entrepris aucune démarche » en ce sens, notamment en raison du contrat actuel de Salah, valable jusqu’à la mi-2027, ont ajouté les sources.

Selon elles, impliquer des clubs saoudiens est devenu une pratique courante chez plusieurs joueurs internationaux en conflit avec leurs clubs, afin d’augmenter leur valeur sur le marché ou de créer un intérêt artificiel.

Les clubs Al-Hilal, Al-Nassr, Al-Ittihad et Al-Ahli, ainsi qu’Al-Qadisiyah et NEOM, n’ont tenu aucune discussion et n’ont même pas envisagé de prendre contact avec Salah, Liverpool ou son agent, ont précisé les sources.

Asharq Al-Awsat a publié mardi un démenti officiel d’une source au sein d’Al-Hilal, qualifiant les informations de « rumeurs sans fondement ».

Le journal a également publié un démenti similaire provenant de sources internes à Al-Qadisiyah, qui ont confirmé que le club, propriété d'Aramco, n'avait aucune intention de recruter Salah.

Omar Maghrabi, PDG de la SPL, a déclaré mercredi lors de son discours au World Football Summit que Salah serait le bienvenu dans le championnat saoudien, mais que les clubs restent les parties responsables des négociations avec les joueurs.

Ce texte est la traduction d’un article paru sur Asharq Al-Awsat