J'ai trouvé la source du problème qui empêche les GPO d'être prise en compte : le template de GPO est incorrect.
J'ai pu reproduire le problème en interne et le corriger.
Pour se faire il faut télécharger les ADMX les plus récents de Microsoft Edge et les importer dans les Administrative template.
De ce fait, vos collègues du service associé à cela doivent récupérer le dernier template en date et l'importer dans leur Active directory.
Suite à cela les gpo appliquées à Microsoft Edge devraient fonctionner correctement.
Afin de pallier au problème de ccleaner je n'ai modifié que l'entrée suivante :
Modèles d'administration - Composants Windows - Microsoft Edge - Performances :
Activer le démarrage rapide : Désactivé
Enfin, concernant le blocage du bouton paramètre cela n'est pas possible (Microsoft ne semble pas proposer cette option).
Toute fois il y a la possibilité d'utiliser un workaround qui serait de bannir l'URL permettant d'accéder à la page de settings :
User Configuration > Policies > Administrative Templates > Microsoft Edge > Block access to a list of URLs
L'url serait : edge://settings
Cela n'est pas recommandé par Microsoft mais c'est la seule solution documentée que j'ai trouvé.
Je reste dans l'attente de votre retour.