Les modèles de langage développés par le Golfe inscrivent l'arabe au cœur de l'IA

Les États du Golfe cherchent à devenir des leaders de l'IA en investissant dans la recherche et le développement et dans les start-ups (Photo, MBZUAI).
Les États du Golfe cherchent à devenir des leaders de l'IA en investissant dans la recherche et le développement et dans les start-ups (Photo, MBZUAI).
Short Url
Publié le Mardi 10 octobre 2023

Les modèles de langage développés par le Golfe inscrivent l'arabe au cœur de l'IA

  • ChatGPT comprend les demandes en arabe, mais les réponses peuvent sembler artificielles ou inadaptées
  • Désormais, les grands modèles de langage locaux peuvent saisir les nuances linguistiques et même comprendre les dialectes et les références culturelles

DUBAÏ: Lorsque ChatGPT a fait ses débuts l'année dernière, le programme d'intelligence artificielle a fait sensation dans le monde entier, car les utilisateurs ont pu communiquer avec une machine capable de se faire passer pour un autre être humain.

Toutefois, l'enthousiasme des technophiles du monde arabe s'est quelque peu émoussé en raison de la maîtrise limitée de l'arabe par ChatGPT, due en partie à la complexité de la langue, aux signes diacritiques, au système d'inflexion et aux dialectes régionaux.

Bien que ChatGPT, qui est basé sur un grand modèle linguistique (LLM), puisse comprendre les demandes en arabe et soit capable de les traduire, en particulier lorsqu'il utilise l'arabe standard moderne, les réponses peuvent sembler peu naturelles, tandis que les traductions littérales se révèlent parfois inadaptées.

C'est pourquoi Jais, un LLM conçu pour prendre en charge l'arabe, a été dévoilé en juillet, faisant entrer dans le courant dominant de l'intelligence artificielle (IA) l'une des langues les plus parlées au monde, bien que parfois négligée.

Jais, dont le nom rappelle le plus haut sommet des Émirats arabes unis à Ras al-Khaimah, est le fruit du travail d'une équipe d'universitaires et d'ingénieurs qui se sont lancés dans ce projet après avoir constaté que rares sont les LLM véritablement multilingues.

Le robot humanoïde Ameca accueille les visiteurs au musée du futur de Dubaï (Photo, AFP).

Téléchargeable sur la plateforme d'apprentissage automatique Hugging Face, Jais est le fruit d'une collaboration entre Cerebras Systems, l'université d’intelligence artificielle Mohammed ben Zayed (MBZUAI), et Inception, une filiale de la société G42, basée à Abu Dhabi.

«Il est essentiel que de grands modèles de langage soient développés pour des langues autres que l'anglais afin de garantir une innovation accessible à tous», a déclaré Andy Jackson, président-directeur général (PDG) d'Inception, à Arab News.

«Un LLM arabe de qualité est essentiel pour tous les secteurs, entreprises et organisations, ainsi que pour les particuliers. L'innovation prospère lorsque nous collaborons, et Jais établit une nouvelle norme pour le progrès de l'IA au Moyen-Orient, en veillant à ce que la langue arabe, avec sa profondeur et son héritage, trouve sa voix dans le paysage de l'IA.»

«Jais témoigne de notre engagement en faveur de l'excellence et de notre volonté de démocratiser l'IA et de promouvoir l'innovation.»

Les LLM sont des modèles fonctionnels d'apprentissage automatique qui utilisent des algorithmes d'apprentissage profond pour traiter et comprendre le langage humain naturel. Ces modèles sont ensuite entraînés sur de grandes quantités de données textuelles afin d'apprendre des modèles dans le langage.

Ces programmes, qui prolifèrent dans le sillage du succès de ChatGPT, sont capables de générer des textes sur un éventail apparemment infini de sujets, allant des articles académiques à la poésie.

Ce qui impressionne particulièrement, c'est leur capacité à créer des réponses à des questions de manière si convaincante qu'elles ressemblent à celles d'un être humain, dans presque tous les langages, y compris le codage.

Mais pour que ces langages soient convaincants, des programmeurs humains de langue maternelle sont souvent nécessaires pour fournir un niveau crucial de contexte et de compréhension qui peut améliorer la précision et la fiabilité.

«Jais est spécialement conçu pour la langue arabe et excelle à en saisir les subtilités et les nuances, ce qui garantit des réponses extrêmement précises et pertinentes sur le plan contextuel – un avantage certain par rapport aux modèles à usage général», a déclaré M. Jackson.

Les programmes d'IA adaptés à la langue arabe pourraient accroître l'accès à une nouvelle technologie révolutionnaire (Photo, MBZUAI).

«Cette spécialisation constitue un développement essentiel, car elle offre aux gouvernements, aux entreprises et aux particuliers du monde arabe la possibilité d'exploiter le potentiel de l'IA générative.»

Actuellement considéré comme l'un des principaux LLM arabes, Jais, un modèle à 13 milliards de paramètres, a été entraîné sur un nouvel ensemble de données de 395 milliards de tokens arabes et anglais sur Condor Galaxy, l'un des plus grands supercalculateurs d'IA en nuage au monde, lancé par G42 et Cerebras en juillet en utilisant 116 milliards de tokens arabes et 279 milliards de tokens anglais.

«Jais est né à Abu Dhabi et offre à plus de 400 millions d'arabophones la possibilité d'exploiter le potentiel de l'IA générative», a déclaré à Arab News Preslav Nakov, professeur et directeur adjoint du département de traitement du langage naturel au MBZUAI.

«Il facilitera et accélérera l'innovation, soulignant la place prépondérante d'Abu Dhabi en tant que plaque tournante de l'IA, de l'innovation, de la préservation de la culture et de la collaboration internationale.»

En tant que modèle à code source ouvert, Jais devrait inciter les scientifiques, les universitaires et les développeurs à accélérer la croissance d'un écosystème d'IA en langue arabe. Il pourrait également servir de modèle pour d'autres langues actuellement sous-représentées dans l'IA traditionnelle.

EN BREF

- Les grands modèles de langage, ou LLM, sont un type d'intelligence artificielle capable d'imiter l'intelligence humaine

- L'arabe est parlé par 400 millions de personnes, mais représente 1% du contenu mondial en ligne

- Jais a été créé par Cerebras, MBZUAI et une filiale de G42 appelée Inception

«Jais surpasse de loin les modèles arabes existants», a déclaré M. Nakov. «Il rivalise également avec les modèles anglais de taille similaire, bien qu'il ait été entraîné sur un nombre de données anglaises nettement inférieur.»

«Ce résultat passionnant montre que la composante anglaise du modèle a appris à partir des données arabes et vice versa, ce qui ouvre une nouvelle ère dans le développement et la formation de LLM.»

Lors du développement de Jais, une attention particulière a été accordée au prétraitement du texte arabe, en améliorant la prise en charge des caractéristiques uniques de la langue, y compris son style d'écriture et l'ordre des mots.

Jais maintient également un ensemble de données équilibré entre l'arabe et l'anglais pour des performances optimales, offrant une nette amélioration par rapport aux modèles dont la proportion de texte arabe est limitée.

Ses développeurs affirment que Jais, contrairement à d'autres modèles, saisit les nuances linguistiques et comprend même les différents dialectes arabes et les références culturelles.

«Jais facilite une personnalisation plus rapide pour des cas d'utilisation spécifiques en arabe et dissipe les inquiétudes concernant la propriété des données car il est basé aux Émirats arabes unis, offrant une solution rassurante pour les entreprises locales», a déclaré M. Jackson, PDG d'Inception.

Les LLM sont des modèles fonctionnels d'apprentissage automatique qui utilisent des algorithmes d'apprentissage profond pour traiter et comprendre le langage humain naturel (Photo fournie).

Le ministère des Affaires étrangères et le ministère de l'Industrie et des Technologies avancées des Émirats arabes unis, la Compagnie pétrolière nationale et le ministère de la Santé d'Abu Dhabi, Etihad Airways, First Abu Dhabi Bank et le groupe technologique mondial e& prévoient d'utiliser Jais, offrant des perspectives précieuses pour améliorer le modèle et ses applications dans leurs secteurs d'activité.

Compte tenu des efforts considérables de transformation numérique déployés par plusieurs gouvernements du Golfe, accompagnés d'investissements importants dans les industries de haute technologie et les startups technologiques locales, les programmes d'IA adaptés à la langue arabe pourraient élargir l'accès à une nouvelle technologie transformationnelle et remettre en question le monopole d'une poignée d'entreprises de la Silicon Valley.

Le mois dernier, le Technology Innovation Institute (TII), un centre de recherche émirati situé à Abu Dhabi, a lancé Falcon 180b, un modèle d'IA à code source ouvert. Fondé en 2020, le TII a présenté Falcon 40b, la première version de son modèle d'IA à code source ouvert, en mai dernier, après avoir dévoilé Noor, un modèle d'IA basé sur la langue arabe, l'année dernière.

Selon un rapport publié dans le magazine The Economist, TII est la branche de recherche appliquée de l'Advanced Technology Research Council (ATRC), une agence gouvernementale qui emploie un personnel multinational de 800 personnes travaillant sur des sujets allant de la biotechnologie et de la robotique à l'informatique quantique.

«Nous entrons dans le jeu pour bousculer les principaux acteurs», a déclaré Faisal al-Bannai, secrétaire général de l'ATRC, à The Economist, ajoutant que le TII créera de nouveaux modèles et applications destinés à des domaines spécifiques tels que la médecine et le droit.

Pour sa part, l'Arabie saoudite a lancé sa stratégie nationale pour les données et l'intelligence artificielle en octobre 2020, visant à devenir un leader mondial dans le domaine, alors qu'elle cherche à attirer 20 milliards de dollars (1 dollar = 0,95 euro) d'investissements étrangers et locaux d'ici 2030.

Le Royaume est également déterminé à préparer l'avenir de sa main-d'œuvre, dans un premier temps en formant et en développant plus de 20 000 spécialistes de l'IA et des données. En mai dernier, l'institut d'IA de Deloitte a été officiellement inauguré lors de la conférence Experience Analytics à Riyad.

La semaine dernière, l'Arabie saoudite a lancé des Olympiades nationales de programmation et d'intelligence artificielle ouvertes à tous les élèves des collèges et lycées. Selon les médias, environ 300 000 élèves seront sélectionnés parmi 3 millions de participants pour suivre une formation en programmation et en intelligence artificielle.

Cette initiative est le fruit d'une collaboration entre l'Autorité saoudienne des données et de l'intelligence artificielle, le ministère de l'Éducation et la Fondation du roi Abdelaziz et de ses compagnons pour le talent et la créativité (Photo, Mawhiba).

L'adoption par l'Arabie saoudite de la numérisation et des technologies émergentes devrait contribuer à hauteur de 2,4% à son produit intérieur brut d'ici 2030, selon un récent rapport du cabinet de conseil mondial PwC.

En termes de croissance annuelle moyenne de la contribution de l'IA par région, l'Arabie saoudite devrait obtenir une part de 31,3% dans l'expansion de la technologie entre 2018 et 2030, ajoute le rapport de PwC.

«L'IA se développe rapidement, et son impact se fera de plus en plus sentir dans tous les secteurs et domaines de la vie», a déclaré Nakov de MBZUAI. «Dans ce contexte, il est essentiel que le monde arabe ait accès à un LLM avancé qui puisse être adapté et utilisé dans tous les secteurs.»

«Les progrès rapides de l'IA signifient que les organisations qui ne parviennent pas à s'adapter et à commencer à utiliser l'IA le plus tôt possible seront laissées pour compte, ce qui rend encore plus essentiel l'accès du monde arabe à des LLM de qualité.»

Au-delà de ses applications commerciales, cependant, un aspect crucial d'un programme tel que Jais est sa capacité à soutenir les langues négligées, à les préserver dans une économie en évolution rapide et à promouvoir l'inclusion numérique.

Bien que l'arabe soit une langue officielle dans 22 pays et qu'il soit partiellement parlé dans 11 autres, il ne représente que 1% du contenu mondial en ligne, selon les créateurs de Jais. On peut espérer que l'avènement de l'IA et l'automatisation de la traduction rapide changeront la donne.

En plaçant la langue au premier plan de la révolution de l'IA, Jais et ses successeurs pourraient contribuer à maintenir la place prépondérante de l'arabe dans le monde et sa particularité culturelle à l'ère du numérique.

Ce texte est la traduction d’un article paru sur Arabnews.com 


Soudan: le chef de l'armée qualifie la proposition de trêve envoyée par l'émissaire américain de «la pire» jusqu'ici

Short Url
  • Dans une vidéo diffusée dimanche, il a également rejeté la dernière proposition de trêve soumise par l’émissaire américain Massad Boulos, la qualifiant de « pire » proposition reçue jusqu’ici
  • Le Conseil de souveraineté, présidé par Burhane, s’est pour sa part dit disposé à coopérer avec les États-Unis et l’Arabie saoudite pour relancer un processus de paix

PORT-SOUDAN: Le chef de l’armée soudanaise, Abdel Fattah al-Burhane, a affirmé dimanche que le groupe médiateur appelé le « Quad » — composé des États-Unis, de l’Arabie saoudite et de l’Égypte — ne pouvait jouer un rôle neutre dans les efforts visant à mettre fin au conflit entre l’armée et les Forces de soutien rapide (FSR).

Dans une vidéo diffusée dimanche, il a également rejeté la dernière proposition de trêve soumise par l’émissaire américain Massad Boulos, la qualifiant de « pire » proposition reçue jusqu’ici. Selon lui, elle ne tient pas compte des réalités du terrain et ne garantit pas une cessation durable des hostilités.

Le conflit, qui a fait des milliers de morts et provoqué le déplacement de millions de personnes depuis avril 2023, reste au cœur des préoccupations internationales. Washington s’est récemment dit déterminé à mettre fin aux « atrocités » commises au Soudan, à la suite d’un appel du prince héritier saoudien Mohammed ben Salmane en faveur d’un engagement américain plus fort.

Le Conseil de souveraineté, présidé par Burhane, s’est pour sa part dit disposé à coopérer avec les États-Unis et l’Arabie saoudite pour relancer un processus de paix.

En septembre, le Quad avait proposé un plan comprenant une trêve de trois mois et l’exclusion tant du gouvernement actuel que des FSR de la transition post-conflit, une clause rejetée par l’armée. Début novembre, les paramilitaires avaient annoncé accepter une trêve humanitaire après avoir pris El-Fasher, dernier bastion de l’armée au Darfour, où l’ONU a signalé de graves violations.

Désormais maîtres de la quasi-totalité de la région, les FSR ont intensifié leurs offensives dans le voisin Kordofan, riche en pétrole.


Une délégation du Hamas discute au Caire de la trêve à Gaza

Une délégation du Hamas discute au Caire de la trêve à Gaza
Short Url
  • Menée par le négociateur en chef du Hamas, Khalil al-Hayya, la délégation est arrivée samedi dans la capitale égyptienne pour des entretiens dimanche avec Hassan Rashad
  • Sur place, le Hamas "a réaffirmé son engagement à mettre en œuvre la première phase de l'accord (de cessez-le-feu), soulignant l'importance de mettre un terme aux violations israéliennes"

LE CAIRE: Une délégation du Hamas s'est engagée dimanche au Caire à respecter la "première phase" de l'accord de trêve dans la bande de Gaza lors d'un entretien avec le chef des services de renseignement égyptiens, a indiqué le mouvement islamiste palestinien.

Menée par le négociateur en chef du Hamas, Khalil al-Hayya, la délégation est arrivée samedi dans la capitale égyptienne pour des entretiens dimanche avec Hassan Rashad, avaient indiqué à l'AFP deux responsables du mouvement, précisant que la deuxième phase de la trêve devait également être abordée.

Sur place, le Hamas "a réaffirmé son engagement à mettre en œuvre la première phase de l'accord (de cessez-le-feu), soulignant l'importance de mettre un terme aux violations israéliennes (...) et la nécessité d'un mécanisme clair et précis, sous l'égide et le contrôle des médiateurs, permettant de leur signaler immédiatement toute violation", a affirmé le mouvement dans un communiqué.

Ces derniers jours, Israël et le Hamas se sont accusés mutuellement de violer la trêve entrée en vigueur le 10 octobre sous pression américaine après deux ans de guerre déclenchée par une attaque sans précédent du mouvement contre Israël le 7 octobre 2023.

Samedi, l'armée israélienne a affirmé avoir "frappé des cibles" du Hamas, faisant 21 morts selon la Défense civile locale, en réponse selon elle à l'attaque d'un "terroriste armé" contre ses soldats.

L'accord de trêve a permis dans sa première phase le retour des vingt derniers otages vivants du 7-Octobre, en échange de la libération de plusieurs centaines de prisonniers palestiniens, et le retour de 25 corps d'otages, sur 28 que le Hamas s'est engagé à rendre.

La deuxième phase prévoit notamment la mise en place d'une autorité transitoire pour administrer Gaza et le déploiement d'une force internationale pour assurer la sécurité du territoire et désarmer le Hamas et les autres factions armées sur place.

Le Hamas, écarté de tout rôle dans la gouvernance future du territoire selon le plan Trump adopté par le Conseil de sécurité de l'ONU, refuse pour l'heure de désarmer.

"La nature de la deuxième phase de l'accord" a fait l'objet de discussions au Caire, a indiqué le mouvement, ajoutant avoir aussi évoqué le sort de "combattants" à Rafah (sud) avec lesquels les communications sont "interrompues".

Selon plusieurs médias, jusqu'à 200 combattants du Hamas seraient coincés dans des tunnels de Gaza sous une partie du territoire où s'est redéployée l'armée israélienne dans le cadre de l'accord.


Israël tue le chef militaire du Hezbollah dans une frappe sur la banlieue de Beyrouth

Israël a tué dimanche le chef militaire du Hezbollah lors d'une frappe sur la banlieue sud de Beyrouth dimanche qui a visé un immeuble d'un quartier densément peuplé, faisant cinq morts selon les autorités libanaises. (AFP)
Israël a tué dimanche le chef militaire du Hezbollah lors d'une frappe sur la banlieue sud de Beyrouth dimanche qui a visé un immeuble d'un quartier densément peuplé, faisant cinq morts selon les autorités libanaises. (AFP)
Short Url
  • Israël tue le chef militaire du Hezbollah dans une frappe sur la banlieue de Beyrouth
  • L'armée israélienne a affirmé avoir tué Haitham Ali Tabatabai dans une cinquième frappe sur la banlieue sud de Beyrouth, bastion du Hezbollah

BEYROUTH: Israël a tué dimanche le chef militaire du Hezbollah lors d'une frappe sur la banlieue sud de Beyrouth dimanche qui a visé un immeuble d'un quartier densément peuplé, faisant cinq morts selon les autorités libanaises.

C'est le plus haut responsable du Hezbollah à être tué depuis la fin il y a près d'an de la guerre meurtrière qui a opposé le mouvement pro-iranien à Israël et dont il est sorti décapité.

L'armée israélienne a affirmé avoir tué Haitham Ali Tabatabai dans une cinquième frappe sur la banlieue sud de Beyrouth, bastion du Hezbollah, depuis l'entrée en vigueur du cessez-le feu. Un peu plus tard, en soirée, le mouvement islamiste a confirmé que "le grand dirigeant" Tabatabai a été tué "à la suite d'une agression israélienne".

Le Premier ministre israélien Benjamin Netanyahu a assuré qu'Israël "ne permettra pas au Hezbollah de reconstruire son pouvoir" et appelé le gouvernement libanais à "respecter son engagement à désarmer le Hezbollah" à la suite de cette attaque qui intervient une semaine avant la visite du pape Léon XIV au Liban.

Tabatabai, présenté par l'armée israélienne comme "le plus important commandant du Hezbollah", avait été promu chef militaire du Hezbollah après la mort des principaux responsables militaires du mouvement durant la guerre avec Israël.

"Comme un éclair" 

Dans le quartier qui a été visé, la frappe a touché les troisième et quatrième étages d'un immeuble de neuf étages, et laissé plusieurs voitures calcinées à son pied, a constaté un journaliste de l'AFP.

Il a vu les secouristes évacuer un corps enveloppé dans un sac blanc et au moins six blessés, dont trois femmes, de l'immeuble au rez-de-chaussée duquel s'alignent une pâtisserie, un magasin de jouets et une boutique d'électroménagers.

"Je rendais visite à ma mère et j'étais sur le balcon", a raconté à l'AFP un homme qui se trouvait dans un immeuble faisant face au bâtiment touché. "Il y a eu comme un éclair, puis j'ai percuté la balustrade et tout le verre s'est brisé", a ajouté ce quadragénaire en état de choc, qui n'a pas voulu dire son nom.

Cinq personnes ont été tuées et 28 blessées, selon le ministère libanais de la Santé.

Benjamin Netanyahu, qui avait juré de "faire tout le nécessaire" pour empêcher un renforcement du mouvement pro-iranien, "a ordonné l'attaque sur recommandation du ministre de la Défense et du chef d'état-major", selon ses services.

Le président libanais Joseph Aoun a, lui, appelé la communauté internationale à "intervenir sérieusement et avec force pour mettre fin aux attaques contre le Liban" menées par Israël, soulignant que le Liban respectait de son côté le cessez-le-feu.

Yémen et Syrie 

Israël a récemment intensifié ses frappes dans les bastions du Hezbollah au sud et à l'est du Liban, où il affirme viser le mouvement chiite qu'il accuse de violer le cessez-le-feu en se réarmant et réactivant ses infrastructures.

Le Hezbollah avait lancé les hostilités en ouvrant un front contre Israël au début de la guerre à Gaza, déclenchée par l'attaque du Hamas sur le sol israélien du 7 octobre 2023. Un cessez-le-feu est en vigueur dans le territoire palestinien depuis le 10 octobre.

"Nous continuerons à agir avec force pour prévenir toute menace contre les habitants du nord et l'Etat d'Israël. Quiconque lèvera la main contre Israël verra sa main coupée", a martelé le ministre israélien de la Défense, Israël Katz.

Le nom de Tabatabai, né en 1968 selon le communiqué du Hezbollah, était inconnu du grand public au Liban.

Il était, avant de prendre ses fonctions, "responsable du dossier du Yémen" au sein du Hezbollah, qui soutient les rebelles houthis, selon une source proche de la formation pro-iranienne.

Il avait également occupé des fonctions en Syrie où la formation soutenait militairement le pouvoir de Bachar al-Assad, selon les Etats-Unis qui l'avaient placé sur leur liste des personnes liées au terrorisme.

Le Hezbollah est sorti affaibli du conflit avec Israël, qui a culminé en deux mois de guerre ouverte avant la trêve, et assure depuis respecter le cessez-le-feu.

Pour leur part, les autorités libanaises accusent régulièrement Israël de violer l'accord de cessez-le-feu conclu sous médiation américaine, en poursuivant ses frappes et en continuant d'occuper cinq points stratégiques du sud du territoire libanais.

Les Etats-Unis font dans le même temps pression sur le gouvernement libanais pour qu'il oblige le Hezbollah à rendre ses armes, ce que le groupe a jusqu'à présent refusé de faire.