Elle a soulevé la question jeudi lors du discours sur l’état de l’Union de Biden, auquel Li a assisté en tant qu’invité de la représentante Anna G. Eshoo (Démocrate de Californie) pour promouvoir un projet de loi visant à financer un référentiel national d’IA.
Li est à la pointe d’un nombre croissant d’universitaires, de décideurs politiques et d’anciens employés qui affirment que le coût exorbitant du travail avec les modèles d’IA exclut les chercheurs du terrain, compromettant ainsi l’étude indépendante de cette technologie en plein essor.
Alors que des entreprises comme Meta, Google et Microsoft investissent des milliards de dollars dans l’IA, un énorme déficit de ressources se creuse même avec les universités les plus riches du pays. Meta vise à acquérir 350 000 des puces informatiques spécialisées – appelés GPU – nécessaires pour exécuter des calculs gargantuesques sur des modèles d’IA. En revanche, le Natural Language Processing Group de Stanford dispose de 68 GPU pour l’ensemble de son travail.
Après avoir assisté au discours sur l’état de l’Union #SOTU ce soir, j’ai eu un bref échange avec le président Biden @POTUS.
Moi : « M. Président, vous avez prononcé un discours historique en mentionnant l’IA dans le discours de la SOTU pour la première fois de l’histoire.@POTUS (souriant) : « Oui ! Et gardez-le en sécurité ». 1/ pic.twitter.com/cJ7vs440fx– Fei-Fei Li (@drfeifei) 8 mars 2024
Pour obtenir la puissance de calcul et les données coûteuses nécessaires à la recherche sur les systèmes d’IA, les chercheurs s’associent fréquemment à des employés techniques. Entre-temps, Les salaires faramineux des entreprises technologiques drainent les talents universitaires.
Les grandes entreprises technologiques dominent désormais les percées dans le domaine. En 2022, l’industrie technologique a créé 32 modèles d’apprentissage automatique importants, tandis que les universitaires en ont produit trois, un renversement significatif par rapport à 2014, lorsque la majorité des avancées en matière d’IA provenaient des universités, selon une étude de Stanford. rapport.
Les chercheurs affirment que cette dynamique de pouvoir déséquilibrée façonne le domaine de manière subtile, poussant les chercheurs en IA à adapter leurs recherches à un usage commercial. Le mois dernier, Mark Zuckerberg, PDG de Meta, a annoncé que le laboratoire indépendant de recherche en IA de l’entreprise se rapprocherait de son équipe produit, garantissant ainsi « un certain niveau d’alignement » entre les groupes, a-t-il déclaré.
“Le secteur public est désormais nettement en retard en termes de ressources et de talents par rapport à celui de l’industrie”, a déclaré Li, ancien employé de Google et codirecteur du Stanford Institute for Human-Centered AI. « Cela aura de profondes conséquences, car l’industrie se concentre sur le développement de technologies axées sur le profit, alors que les objectifs de l’IA du secteur public sont axés sur la création de biens publics. »
Certains font pression pour trouver de nouvelles sources de financement. Li a fait le tour de Washington, se serrant contre le directeur du Bureau des sciences et technologies de la Maison Blanche, Arati Prabhakar, dînant avec la presse politique dans un restaurant de fruits de mer et un steakhouse chic et visitant Capitol Hill pour des réunions avec des législateurs travaillant sur l’IA, dont le sénateur Martin Heinrich. (DN.M.), Mike Rounds (RS.D.) et Todd Young (R-Ind.).
Les grandes entreprises technologiques ont fourni des ressources informatiques au National AI Research Resource, le projet d’entrepôt national, y compris un don de 20 millions de dollars en crédits informatiques de Microsoft.
“Nous reconnaissons depuis longtemps l’importance du partage des connaissances et des ressources informatiques avec nos collègues du monde universitaire”, a déclaré Eric Horvitz, directeur scientifique de Microsoft, dans un communiqué.
Les décideurs politiques prennent certaines mesures pour combler les déficits de financement. L’année dernière, la National Science Foundation annoncé Un investissement de 140 millions de dollars pour lancer sept projets universitaires Instituts nationaux de recherche sur l’IA pour examiner comment l’IA pourrait atténuer les effets du changement climatique et améliorer l’éducation, entre autres sujets.
Eshoo a déclaré qu’elle espérait adopter la loi Create AI, qui bénéficie du soutien bipartite à la Chambre et au Sénat, d’ici la fin de l’année, date à laquelle elle devrait prendre sa retraite. La législation « démocratise essentiellement l’IA », a déclaré Eshoo.
Mais les chercheurs affirment que cette injection pourrait ne pas arriver assez rapidement.
Alors que la Silicon Valley se précipite pour créer des chatbots et des générateurs d’images, elle attire de futurs professeurs d’informatique avec des salaires élevés et la possibilité de travailler sur des problèmes intéressants d’IA. Près de 70 % des titulaires d’un doctorat en intelligence artificielle finissent par trouver un emploi dans le secteur privé, contre 21 % des diplômés il y a vingt ans, selon une étude. Rapport 2023.
Le boom de l’IA dans les grandes technologies a propulsé les salaires des meilleurs chercheurs vers de nouveaux sommets. La rémunération médiane des chercheurs en IA chez Meta est passée de 256 000 $ en 2020 à 335 250 $ en 2023, selon Niveaux.pour info, un site Web de suivi des salaires. Les vraies stars peuvent attirer encore plus d’argent : Les ingénieurs en IA titulaires d’un doctorat et de plusieurs années d’expérience dans la création de modèles d’IA peuvent toucher une rémunération pouvant atteindre 20 millions de dollars sur quatre ans, a déclaré Ali Ghodsi, qui, en tant que PDG de la start-up d’IA DataBricks, est régulièrement en compétition pour embaucher des talents en IA.
« L’indemnisation explose. C’est ridicule”, a-t-il déclaré. “Ce n’est pas un chiffre rare à entendre, en gros.”
Les universitaires n’ont souvent pas le choix mais travailler avec des chercheurs de l’industrie, l’entreprise payant la facture de la puissance de calcul et proposant des données. Près de 40 % des articles présentés lors des principales conférences sur l’IA en 2020 avaient au moins un auteur employé en technologie, selon l’édition 2023. rapport. Et les subventions de l’industrie financent souvent des étudiants en doctorat pour qu’ils effectuent des recherches, a déclaré Mohamed Abdalla, scientifique à l’Institut canadien pour une meilleure santé chez Trillium Health Partners, qui a mené des recherches sur l’effet de l’industrie sur la recherche universitaire en IA.
“C’était comme une blague courante selon laquelle tout le monde était embauché par eux”, a déclaré Abdalla. “Et les gens qui restaient étaient financés par eux – donc, d’une certaine manière, embauchés par eux.”
Google estime que les entreprises privées et les universités devraient travailler ensemble pour développer la science derrière l’IA, a déclaré Jane Park, porte-parole de l’entreprise. Google publie toujours régulièrement ses recherches publiquement au profit de la communauté plus large de l’IA, a déclaré Park.
David Harris, ancien directeur de recherche de l’équipe responsable de l’IA de Meta, a déclaré que les laboratoires d’entreprise ne peuvent pas censurer les résultats de la recherche, mais peuvent influencer les projets qui seront abordés.
“Chaque fois que vous voyez un mélange d’auteurs employés par une entreprise et d’auteurs travaillant dans une université, vous devriez vraiment examiner les motivations de l’entreprise pour contribuer à ce travail”, a déclaré Harris, qui est maintenant chercheur public du chancelier à l’Université de Californie à Berkeley. « Nous avions l’habitude de considérer les personnes employées dans le monde universitaire comme des universitaires neutres, motivés uniquement par la recherche de la vérité et l’intérêt de la société. »
Les géants de la technologie achètent d’énormes quantités de Puissance de calcul via des centres de données et avoir accès à des GPU – des puces informatiques spécialisées nécessaires à l’exécution des calculs gargantuesques nécessaires à l’IA. Ces ressources sont coûteuses : un récent rapport de chercheurs de l’Université de Stanford estimé Le développement du grand modèle de langage de Google DeepMind, Chinchilla, a coûté 2,1 millions de dollars. Plus de 100 chercheurs de haut niveau en intelligence artificielle mardi a exhorté les entreprises d’IA générative offrir une sphère de sécurité juridique et technique aux chercheurs afin qu’ils puissent examiner leurs produits sans craindre que les plateformes Internet suspendent leurs comptes ou menacent de poursuites judiciaires.
La nécessité d’une puissance de calcul avancée ne fera que croître à mesure que les scientifiques de l’IA traitent davantage de données pour améliorer les performances de leurs modèles, a déclaré Neil Thompson, directeur du projet de recherche FutureTech au laboratoire d’informatique et d’intelligence artificielle du MIT, qui étudie les progrès en informatique. .
“Pour continuer à m’améliorer, [what] vous vous attendez à avoir besoin de plus en plus d’argent, de plus en plus d’ordinateurs, de plus en plus de données », a déclaré Thompson. « Ce que cela va signifier, c’est que les gens qui n’ont pas autant de ressources informatiques [and] ceux qui n’ont pas autant de ressources vont cesser de pouvoir participer.
Des entreprises technologiques comme Meta et Google ont toujours géré leurs laboratoires de recherche en IA de manière à ressembler à des universités où les scientifiques décident des projets à poursuivre pour faire progresser la recherche, selon des personnes proches du dossier qui se sont exprimées sous couvert d’anonymat pour parler de questions liées aux entreprises privées. .
Ces travailleurs étaient en grande partie isolés des équipes axées sur la création de produits ou la génération de revenus, ont indiqué les sources. Ils ont été jugés en fonction de la publication d’articles influents ou de percées notables – des critères similaires à ceux de leurs pairs dans les universités, ont indiqué les sources. Yann LeCun et Joelle Pineau, scientifiques de pointe en IA, occupent une double nomination à l’Université de New York et à l’Université McGill, brouillant ainsi les frontières entre l’industrie et le monde universitaire.
Dans un contexte de plus en plus marché concurrentiel pour les produits d’IA générative, la liberté de recherche au sein des entreprises pourrait diminuer. En avril dernier, Google a annoncé la fusion de deux de ses groupes de recherche en IA, DeepMind, une société de recherche en IA acquise en 2010, et de l’équipe Brain de Google Research en un seul département appelé Google DeepMind. L’année dernière, Google a commencé à tirer davantage parti de ses propres découvertes en matière d’IA, partageant des documents de recherche seulement après que les travaux de laboratoire aient été transformés en produits, a rapporté le Washington Post. signalé.
Meta a également remanié ses équipes de recherche. En 2022, la société a placé FAIR sous la direction de sa division VR Reality Labs et a réaffecté l’année dernière certains chercheurs du groupe à une nouvelle équipe de produits d’IA générative. Le mois dernier, Zuckerberg a déclaré aux investisseurs que FAIR travaillerait « plus étroitement » avec l’équipe des produits d’IA générative, arguant que même si les deux groupes mèneraient toujours des recherches sur « des horizons temporels différents », il était utile à l’entreprise « d’avoir un certain niveau de compréhension ». alignement » entre eux.
“À l’heure actuelle, de nombreuses entreprises technologiques ont embauché des chercheurs qui connaissaient quelque chose en IA et qui ont peut-être fixé certaines attentes quant à la liberté dont ils disposeraient pour définir leur propre emploi du temps et leur propre programme de recherche”, a déclaré Harris. “Cela change, en particulier pour les entreprises qui se déplacent frénétiquement en ce moment pour expédier ces produits.”