Hyphe : un outil de construction de corpus web

Dans le cadre de l’axe de recherche consacré à la médiatisation de la Marche pour l’égalité et contre le racisme (1983) et de sa mémoire, étudié par une partie de l’équipe française du projet Polyvocal Interpretation of Contested Colonial Heritage (PICCH), un corpus web est en cours de constitution. C’est également le cas à l’Observatoire des publics et des pratiques de la culture, administré par Aix-Marseille Université au sein du laboratoire MESOPOLHIS, où un corpus portant sur les médiations de l’histoire est construit. Ce corpus s’étend sur plusieurs canaux de diffusion que sont : les sites web, les comptes et les pages Facebook, les comptes Instagram et Youtube, Spotify et Deezer.

Dans la perspective de la constitution d’un corpus issus du web vivant et du web archivé traitant des usages de la Marche de 1983 et de sa mémoire, ainsi que les recherches menées dans le cadre de l’Observatoire des publics et des pratiques de la culture, Sophie Gebeil a proposé à Benjamin Ooghe-Tabanou de venir présenter aux chercheur.e.s, ingénérieur.e.s de recherche et étudiant.e.s en Master de la Maison Méditerranéenne des Sciences de l’Homme (MMSH) d’Aix-en-Provence l’outil Hyphe.

Ingénieur généraliste diplômé de l’Ecole Centrale de Lyon et spécialisé en informatique appliquée à la recherche, Benjamin Ooghe-Tabanou a rejoint l’équipe du MédiaLab de SciencesPo en 2012. Ce laboratoire interdisciplinaire, fondé en 2009 par Bruno Latour et dirigé depuis 2017 par Dominique Cardon, réunit des sociologues, des ingénieur.e.s et des designeur.e.s interrogeant la place du numérique dans nos sociétés. Les recherches menées articulent des approches quantitatives et qualitatives sur les traces numériques. Le MédiaLab élabore et propose également un écosystème d’outils de recherche en Open Source, comme l’outil Hyphe dont Benjamin Ooghe-Tabanou a participé à la conception.

Ce billet propose une synthèse des principaux atouts d’Hyphe présentés à l’occasion de ce séminaire, et qui sont venus nourrir la réflexion et les recherches des différentes personnes travaillent sur des corpus web dans le cadre du projet PICCH ou de l’Observatoire des publics et des pratiques de la culture. 

L’atout du crawling

Hyphe est un logiciel libre de collecte de données sur le web. C’est un crawler, soit un outil de collecte automatique qui permet d’extraire des données numériques sur le web. Contrairement au scraping, un autre outil de collecte proposant une extraction ciblée reposant sur l’architecture de la page web, l’atout d’un crawler est de fouiller systématiquement tous les contenus textuels et les hyperliens liés à l’adresse URL renseignée au départ. Le crawler Hyphe fonctionne en effet à partir d’une consigne, sous la forme d’une liste d’adresses URL à consulter, pour réaliser la fouille systématique. Il simule l’ensemble des interactions entre un poste client et le serveur, et produit un corpus de pages web, sur un sujet donné, en se nourrissant de la première liste que les utilisateur.trice.s lui ont fourni.

Le crawling produit en revanche ce qu’on appelle un « effet Matthew » : les nouvelles pages web trouvées par l’outil ont tendance à citer de nouveau les pages déjà trouvées ou déjà renseignées. Ce sont les sites les plus cités, les plus utilisés quotidiennement, les plus facilement trouvables. Mais l’avantage d’Hyphe est d’offrir la possibilité de visualiser ces liens entre les différents sites, depuis ces « couches » les plus hautes qui reviennent très souvent jusqu’à des sites plus difficiles à recenser à partir d’un moteur de recherche classique. Cet outil permet donc d’observer des relations entre des sites et/ou pages, et plus largement entre les acteur.trice.s qui les produisent et les animent.

Un crawling semi-automatique

Nous avons expliqué que les utilisateur.trice.s fournissent à Hyphe une première liste d’adresses URL. Elles forment alors les « Web Entities » pour la recherche à mener. Il faut d’abord en définir les frontières : pour chaque « Web Entities » il est possible de délimiter la granularité de l’adresse URL. Cela signifie que l’utilisateur.trice doit choisir de demander un crawling sur une page précise, sur l’ensemble du sous-domaine du site ou à la globalité du domaine. Cette distinction permet au logiciel de chercher les pages pertinentes par rapport à ce que l’utilisateur.trice attend. Après avoir défini la granularité des « Web Entities », Hyphe amorce un crawling semi-automatique. L’outil fouille certes de manière systématique et automatique dans les « Web Entities » définies, mais le crawling peut aussi s’effectuer de manière manuelle. Les utilisateur.trice.s ont la possibilité de demander, en cours de recherche, un crawling sur des nouvelles « Web Entities » trouvées par l’outil en se basant sur le nombre de citation de ces nouveaux sites par exemple.

Capture d’écran : Choix des « Web Entities » à intégrer au corpus

La possibilité de catégoriser et d’analyser le corpus

Une fois le crawling terminé, l’outil Hyphe permet de classer et de qualifier les sites et pages web du corpus avec un système de tags. Certains sont préétablis mais il est possible d’en ajouter, ce qui rend possible une personnalisation du classement en fonction des critères de sa propre recherche. Cette possibilité de catégorisation du corpus est aussi liée à la fonction d’analyse que propose Hyphe. Cet outil permet aussi de construire une cartographie, sous forme de réseaux, à partir des tags et de la récurrence des liens entre les « Web Entities ». Ce réseau, à l’image des hyphes des champignons ou des algues, permet de mettre en évidence d’éventuels clusters, oppositions, affinités ou encore de faire apparaître une typologie d’acteur.trice.s.

Les limites d’Hyphe

Des parties du web vivant restent cependant inaccessibles à Hyphe. C’est le cas du web dit « profond » ou « invisible ». En opposition au web « visible » facilement accessible aux usager.ère.s, cette expression désigne les pages web non-accessibles par un moteur de recherche, et par extension aux crawlers : c’est le cas des bases de données, des sites protégés par un mot de passe ou des pages générées dynamiquement. Il ne permet pas également de gérer les sites réalisés entièrement en JavaScript, comme les webdocumentaires. La principale limite est l’inaccessibilité des réseaux socionumériques pour Hyphe. Les sites des réseaux socionumériques exigent un compte pour y naviguer, dès lors Hyphe ne peut interagir avec ces sites. Lors de la visualisation du corpus sous forme de réseaux, Hyphe donnera à voir les comptes de réseaux socionumériques comme sans liens et en dehors du corpus. Pour éviter cela il est tout à fait possible de rattacher manuellement des « Web Entities » du corpus avec une autre grâce à la fonction « Merge ». De cette façon, il est possible de lier un compte de réseaux socionumériques à un site web, de la sorte à intégrer le réseau socionumérique à la visualisation du corpus que propose Hyphe. De cette manière si le crawl n’a pu être achevé sur les pages de réseaux socionumériques, ces pages sont rattachées à un site web connexe. L’autre limite d’Hyphe est en réalité inhérente à la nature du web et à sa pérennité. Ce dernier est en effet éphémère, toute page web pouvant en effet être modifiée, supprimée et devenir obsolète en peu de temps. Les sites web recensés par l’outil, à un moment donné, peuvent donc devenir inaccessibles. Le logiciel va dans le futur gagner en efficacité en proposant grâce à plusieurs partenariats entre le MédiaLab, l’INA et la BnF un système d’archivage des « WebEntités » du corpus en fonction de l’exploitation des archives web des institutions de collectes (INA et BnF).

 

Pour conclure, à l’image des travaux menés par le MédiaLab de SciencesPo, l’outil Hyphe permet de faciliter et d’accompagner les chercheur.e.s en sciences humaines et sociales dans leurs études de terrain web,  aussi bien dans la constitution que dans l’analyse de corpus. Malgré les quelques lacunes présentées, mais qu’il faut connaître pour pouvoir définir clairement les limites de son propre corpus, cet outil permet un gain de temps dans la délimitation d’un corpus web et permet de fournir aux chercheur.e.s des visualisations des liens entre les « Web Entities » en fonction de la typologie établie au préalable. De plus, l’application Hyphe Browser, qui se connecte à un navigateur web, permet de compléter encore plus facilement sa liste de « Web Entities » en ajoutant manuellement de nouvelles références lors de consultations sur le web.

Hyphe et Hyphe Browser sont en format libre et sont disponibles en Open Source facilitant l’optimisation et l’évolution des outils. En proposant cet outil de collecte de données numériques, le MédiaLab contribue, au même titre que l’INA ou la BnF ayant le dépôt légal du web en France, au développement des études sur l’influence du web sur nos sociétés.

 

Pauline Savéant, doctorante TELEMMe, UMR 7303

Sami Dendani, ingénieur d’études, Observatoire des publics et des pratiques de la culture



Citer ce billet
samidendani (2023, 31 mars). Hyphe : un outil de construction de corpus web. Public(s) ISSN 2553-5722. Consulté le 20 juin 2024, à l’adresse https://doi.org/10.58079/t29t

Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search