Apprentissage profond distribué : d’un seul nœud vers plusieurs nœuds de calcul

Abstract

L'utilisation croissante de l'apprentissage profond (DL) exploite des modèles de plus en plus complexes avec une quantité croissante de données. Le DL distribué (DLL) permet d'entraîner rapidement des modèles en répartissant la charge de calcul. Nous proposons une approche empirique pour accélérer la distribution en se concentrant sur les stratégies de parallélisation locales. Les résultats montrent que la stratégie de parallélisation locale impacte l'accélération globale du DDL en fonction de la complexité du modèle et de la quantité de données. De plus, notre approche surpasse Horovod qui est le framework DDL de l'état de l'art.