mardi 28 août 2018

Proposition pour améliorer le programme de débat de FOKAL


Par Abiel Abdonel DEVILMÉ
17 mai 2018

Abiel Abdonel Devilmé est un ancien débatteur du club de débat de Santo, à Croix-des-Bouquets. Il a représenté Haiti au tournoi international de débat à Istanbul, en Turquie, en Aout 2011. Il a une formation en économie appliquée au Centre Technique de Planification et d’Economie Appliquée (CTPEA), et une formation en ligne en ‘Data Science’ avec Harvard University et Massachusetts Institue of Technology. Il travaille actuellement sur un projet national de la Banque mondiale (Projet de Développement des Affaires et des Investissements) pour le Ministère du Commerce et de l’Industrie, depuis mars 2018.

FOKAL et le Programme Initiative Jeunes sont intéressés par la proposition d’Abdonel, et envisagent la possibilité d’implémenter, à moyen terme, ce dispositif dans le programme d’amélioration du débat.

Lors du tournoi régional du 12 mai 2018, Abiel Abdonel Devilme ancien débateur du club de Santo a été invité à être juge à un match opposant le club de Santo et celui du Cap-Haïtien. Or, les règlements interdisent à un juge de juger un club dont il a été membre. Dans un petit échange avec M. Anis et Daana  Roc, stagiaire à FOKAL et commissaire du tournoi, je leur ai expliqué qu’on pouvait utiliser les techniques et les logiciels de Data Science afin que ces petites erreurs humaines ne se répètent plus, en donnant cette tâche à  un logiciel de programmation de traitement de données comme Excel, R….

Et de fil en aiguille, on est arrivés à parler de ma spécialisation en Data science et comment on pourrait améliorer considérablement le programme de débat si on faisait le monitoring & évaluation du projet. Cette amélioration viendrait en exploitant toutes les données du nouveau système de notation des discours pour déterminer les points faibles des débatteurs, des juges et de faire des formations spécifiques et adaptées sur ces points faibles pour les débatteurs, les juges, les formateurs.

Le Data science, un outil pour améliorer l’expérience du débat pour tous

Le data science est une science en pleine expansion. Il est outil indispensable dans le monde actuel pour la prise de décision dans quel que soit le domaine d’activité. Le data science permet de prendre des décisions les plus éclairées, les plus intelligentes que possible. Les entreprises les plus puissantes dans le monde actuellement comme Amazon, Facebook, Google, etc., doivent leur puissance à la maîtrise des techniques de sauvegarde, de visualisation et d’exploitation de toutes les données possibles. 

Ces dernières sont en mesure de prendre des « sciences-based decisions »; elles adaptent très rapidement leurs offres de produits et services à destination des utilisateurs. Elles offrent leurs produits en tenant compte des moindres détails sur les caractéristiques de la demande. Même dans le sport l’analyse de données est très poussée. Des entreprises ont développé un heat map pour montrer où un joueur est le plus dangereux, le plus influent et comment l’empêcher de recevoir le ballon dans cette zone, que l’analyse des données a été capable de déterminer.

C’est dans ce contexte mondial d’utilisation, d’exploitation maximale de cette richesse qu’est l’information que j’introduis ma  proposition. Mes expériences comme ancien débatteur et mon  expertise en Data science seraient d’une grande utilité afin aider les décideurs du programme a mieux comprendre les points faibles et les points forts dans l’exercice du débat, et de prendre les meilleures décisions pour que le programme soit plus efficace et plus efficient.

Objectifs du modèle proposé

Le travail que j’aurai à faire aura pour objectif de solutionner 3 problèmes :

- Premièrement, résoudre le casse-tête que représente la répartition équilibrée des juges, en fonction des contraintes réglementaires lors des tournois de débat, un travail qu’un logiciel programmé ferait en un clic. 
- Deuxièmement, faire le monitoring & évaluation des activités du programme, c’est-à-dire utiliser les données produites dans les tournois de débat à travers la feuille détaillée de notation des orateurs, pour voir les domaines où les débatteurs sont les moins performants afin qu’on puisse travailler sur ces faiblesses spécifiques. 
- Troisièmement, utiliser ces mêmes feuilles pour évaluer la compréhension des juges des différents points de chaque discours des orateurs. 
- Et enfin tout autre point pour lequel les décideurs auraient besoin de mon expertise.

Pour résoudre le problème de la répartition des juges sous contraintes, que les juges ne peuvent pas juger les clubs dont ils sont d’origine, éviter qu’un juge arbitre la même équipe deux fois de suite, etc., j’ai déjà fait une simulation avec Excel et R : J’ai pris en compte toutes les contraintes qu’il peut y avoir dans le choix des juges, et laisser le logiciel choisir les juges de façon aléatoire, en fonction des contraintes prédéfinies. 

Le système de notation des discours, une richesse brute peu exploitée

Avec la nouvelle méthode de notation des discours des différents orateurs lors d’un débat, le programme produit une richesse brute d’informations peu exploitées. Cette richesse brute de données que contiennent les ordinogrammes des juges peut être exploitée de manière optimale et enrichir le programme. Pour rendre ces données exploitables, les étapes à suivre devraient être les suivantes :

- la saisie de tous les points que les juges donnent à chaque orateur pour chaque partie de son travail. Par exemple, pour l’orateur 2A, il y aura les points pour la reconstruction, subdivisée en points pour support, qualité de l’argument, structure de l’argument. Toutes les notes pour toutes les catégories et sous-catégories seront saisies avec un logiciel statistique SPSS ou Excel.
- Le traitement des données, puis l’analyse des données sous forme de graphe et de tableau pour mettre en évidence là où  les jeunes ont été très bien, et là où ils ont été moins bien.  
- Il y aura un autre niveau d’analyse statistique plus poussée, qui consisterait à faire des tests statistiques afin de vérifier le bien-fondé de certains à priori qu’on pourrait avoir sur les notes.  Ce travail permettra d’identifier les faiblesses par poste d’orateur, par club, par sexe, etc., afin de faire des ajustements spécifique pour chacun des groupes.

Monitoring du travail des juges & évaluation du système de notation des discours

Comme ancien débatteur, et une personne qui fréquente régulièrement le milieu du débat, la question de la façon dont les juges comprennent le rôle de chaque orateur est souvent sujet de discussion. Très souvent des jeunes (se) disent que si tel juge arbitrait mon match en lieu et place de tel autre juge, je gagnerais probablement le match. Ils pensent que les juges n’ont pas une compréhension uniforme de ce qu’ils devraient attendre de chaque débatteur lors de leur présentation. Ils n’ont, en fait, ni tout à fait tort ni tout à fait raison. Mais on peut vérifier à travers les données s’il y a une différence statistiquement significative dans la compréhension des juges du débat. 

Encore une fois l’analyse de données est la solution. Cependant la méthodologie pour le faire sera un peu différente de celle décrite plus ou moins dans le paragraphe précédent.  Pour faire ce travail, on devra s’y prendre de la manière suivante :

- choisir un même match de débat que nous avons en vidéo, l’envoyer à tous les juges et qu’ils l’arbitrent;
- en même temps, utiliser les juges les plus expérimentés ou qui maitrisent le plus le débat, pour qu’ils notent en groupe ce même match;
- une fois que toutes ces données recueillies et saisies, on procédera à des tests statistiques sur les données afin de voir là où il y a une différence statistiquement significative entre la décision du groupe de juge d’élite et le reste des juges-témoins;
- une fois qu’on a les résultats, on saura si ce que disent les débatteurs sont vrais ou pas, et si ceux qu’ils disent sont vrais, comment résoudre ce problème.
- et à plus long terme, on pourrait évaluer la nouvelle feuille de notation des juges avec une méthodologie beaucoup plus développée (est-ce que ce système de notation permet réellement à la meilleure équipe de gagner), faire des simulations sur le système de notation, évaluer les forces et les faiblesses du ce dit système, et enfin déterminer s’il y a lieu d’apporter des modifications pour améliorer ce système déjà en œuvre.

Le data science, un outil puissant au service du succès du programme de débat

Ainsi le programme de débat produirait de meilleurs débateurs et le jeu sera le plus objectif que possible. L’intégration du data science dans ce programme de façon continue sera pour son plus grand bien et succès.  Ce serait un grand pas vers une démarche scientifique des choses.

Aucun commentaire:

Une année à la tête du PIJ

  cher.es ami.es, Depuis janvier 2022, je suis appelé par la direction de la FOKAL à assumer la charge de la coordination du Programme Initi...