Nous avons vu dans un précédent article les métiers de la data les plus connus dans le marcher du travail. Le Data Analyst qui est chargé de mettre en musique les données à des fins d’aide à la décision. L’ingénieur de données mets en place, optimise et gère l’infrastructure et les pipelines d’intgestion des données. Depuis quelques annnées, un nouveau métier est entré dans la seine, il s’agit du Analytics Engineer.

Pourquoi un Analytics Engineer ?

Dans une “Equipe Data Traditionnelle” , la première personne à embaucher dans son équipe était un Ingénieur Data, cette personne personne devait s’occuper d’extraire les données de différentes sources de production, les mettre en forme puis les stocker dans un Data Warehouse.Ensuite, un Data Analyst était nécessaire pour le développement des tableaux de bord pour différentes équipes métiers et les décideurs.

Qu’est-il arrivé à l’équipe data traditionnelle ?

Depuis 2012, il y a eu des changements considérable dans la boite à outil data, à savoir :

• Les entrepôts de données basés sur le cloud (Redshift, suivi de BigQuery et Snowflake) ont rendu le stockage et le traitement des données abordables et rapides.
• Les services de pipeline de données (ex : Stitch, Fivetran) pour une extraction de données très rapide.
• Les outils de Business Intelligence (BI) (ex : Looker, PowerBI) ont accru la capacité des parties prenantes à être en libre-service.

En 2016, l’intégration des données dans un Data Warehouse et la création d’un tableau de board/rapport métier n’avaient jamais été aussi simple.

À mesure que les outils de données évoluaient, les personnes qui les utilisaient évoluaient également. Les personnes qui ne faisaient pas partie des équipes data ont commencé à développer des connaissances en matière de données. C’était une bonne chose : les utilisateurs métiers voulaient exploiter leurs data en libre-service pour driver leurs métiers. L’inconvénient était que ces personnes apporter une autre couche de transformation à la données qui pouvait créer des incohérences entre consommateurs de la même données initiales.

La solution : transformer les données brutes en une forme prête pour l’analyse.

C’est à ce moment la qu’une solution appelé DBT est entrée dans le marché.

Equipe Data Moderne

dbt est la couche de transformation conçue pour les outils modernes d’entreposage et d’ingestion de données. Construit autour de SQL, dbt place la couche de transformation dans le domaine des analystes de données.

Aujourd’hui, si vous êtes une « Equipe Data Moderne », votre premier employé de données sera quelqu’un qui gère l’intégralité de la Stack Data. Cette personne peut configurer Stitch ou Fivetran pour commencer à ingérer des données, garder un entrepôt de données bien propre, écrire des transformations de données complexes en SQL à l’aide de dbt et créer des rapports au-dessus d’une couche de données propre dans Looker, Mode, Redash, etc.

Ce métier est entre l’ingénierie de données et l’analyse de données.Il fallait donc lui donner un nouveau titre. À partir de 2018, la communauté dbt a commencé à appeler ce rôle le “Data Analytics”.

Les ingénieurs analytiques (ou Data Analytics) fournissent des ensembles de données (ou Dataset) bien définis, transformés, testés, documentés et révisés par le code. ces données sont ensuite exploité et analyser par les utilisateurs métiers en utilisant les outils BI.

Il s’avère qu’une entreprise peut aller assez loin avec un seul ingénieur analytique travaillant comme une équipe de données prenant en charge l’ensemble de la data d’une entreprise. Mais pour les entreprises qui ont besoin d’une plus grande équipe data, comment cette structure d’équipe évolue-t-elle ?

D’après la tendance du marcher de la Data, nous constatons que les membres de l’équipe commencent à se spécialiser. En fonction du besoin, votre prochaine embauche pourrait être un ingénieur de données ou un analyste de données.

Voici les différente tâches des différents rôles au sein des équipes data moderne :

Les frontières entre ces rôles sont floues : certains Analytics Engineer peuvent passer du temps à effectuer un travail d’analyste comme des analyses d’insights, tandis que d’autres peuvent être à l’aise pour écrire du code Python.

Comment savoir si vous êtes un Analytics Engineer ?

En apparence, vous pouvez souvent repérer un Analytics Engineer par l’ensemble des technologies qu’il utilise (dbt, Snowflake/BigQuery/Redshift, Stitch/Fivetran). De plus, vous remarquerez qu’ils sont fascinés par la résolution de problèmes différents de celle des autres membres de l’équipe data. Exemples :

• Est-il possible de créer une table qui permet de répondre à cet ensemble de besoins métiers ?
• Quelle est la convention de nommage des tables la plus parlante dans le DWH ?
• Comment puis je être alerter d’un bug sur un graphique d’un rapport avant l’utilisateur ?
• Comment puis-je améliorer la qualité de mes données au fur et à mesure de leur production, plutôt que de les nettoyer en aval ?

Conclusion

l’Analytcis Engineer est un “gestionnaire des connaissances de l’entreprise”, pas un chercheur répondant à une question spécifique. Il organise le catalogue afin que les chercheurs (les utilisateurs métiers) puissent faire leur travail plus efficacement.