Catalogue/Outils dev/Mako

Mako

Des pipelines de données en temps réel, décrits en YAML.

Framework déclaratif pour orchestrer des pipelines de données. Décrivez vos sources, vos transformations et vos destinations en YAML : Mako se charge d'exécuter, de surveiller et d'alerter.

Voir le dépôtGitHub
MITLicence
Go 1.21+Runtime
Temps réelCatégorie
Open sourceStatut
Ce que contient l'édition

La donnée en mouvement, sans la glue.

No.01

Déclaratif

Tout se configure en YAML. Aucun code à écrire pour les pipelines standards.

No.02

Temps réel

Support natif de Kafka, du CDC PostgreSQL et du streaming HTTP.

No.03

Transforms WASM

Des plugins Go, Rust ou TinyGo compilés en WebAssembly pour des transformations rapides.

No.04

Observabilité

Métriques Prometheus, dashboards Grafana et alertes Slack intégrés.

Pourquoi Mako ?

Déplacer de la donnée d'un point A à un point B paraît simple, jusqu'à ce qu'il faille gérer la pagination, le CDC, la validation de schéma, le masquage des données personnelles et les alertes. La plupart des équipes finissent par écrire et maintenir des montagnes de code de plomberie.

Mako remplace ce code par un fichier YAML. Sources, transformations, destinations : tout est déclaré, versionné, relu. Les transformations lourdes passent par des plugins WebAssembly, et l'observabilité Prometheus est intégrée. Sous licence MIT, fait pour la production.

En bref
Qu'est-ce que Mako ?

Mako est un framework open source de pipelines de données en temps réel, configuré en YAML. Il connecte des sources (Kafka, CDC PostgreSQL, API HTTP), applique des transformations en WebAssembly et écrit vers des destinations comme Snowflake, BigQuery ou ClickHouse. L'observabilité Prometheus et les alertes Slack sont intégrées. Sous licence MIT.

Questions fréquentes

Tout ce qu'on nous demande.

Mako est-il une alternative à Kafka Streams, Flink ou Airflow ?
Mako se positionne entre Kafka Streams ou Flink (streaming) et Airflow ou Dagster (DAG). Il définit des pipelines temps réel en YAML, avec des transformations WASM et de l'observabilité Prometheus, sous licence MIT.
Quelles sources Mako supporte-t-il ?
Kafka, le Change Data Capture (Postgres, MySQL) et HTTP comme sources ; des transformations en WASM ; des destinations configurables (Snowflake, BigQuery, ClickHouse, S3 et plus).
À découvrir aussi

Autres éditions du catalogue.

No.10HILTLe logging privacy-first des interactions humain-IA.No.12VectLiteUne base vectorielle embarquée pour l'IA locale.No.13Données Québec MCPUn serveur MCP pour les données ouvertes du Québec.

Décrivez votre pipeline.

Open source, sous licence MIT. Un fichier YAML, et Mako s'occupe du reste.

Voir le dépôtGitHub

En bref

Comment Mako orchestre-t-il un pipeline de données temps réel ?

Mako est un framework Go open source qui décrit des pipelines de données temps réel sous forme de fichiers YAML déclaratifs, sans code. Un pipeline Mako se compose de 3 sections : sources (Kafka, Change Data Capture sur Postgres ou MySQL, endpoints HTTP), transforms (modules WASM compilés depuis Rust, Go ou Python) et sinks (Kafka, S3, base relationnelle, webhook). À l'exécution, Mako bâtit un graphe orienté acyclique (DAG) en mémoire et applique le contre-pression automatique entre les étages — si un sink est lent, les sources ralentissent sans saturer la mémoire. Mako expose 14 métriques Prometheus standard (débit, latence p50/p95/p99, taille des files, erreurs par étage) et un panneau Grafana de référence est fourni. Le binaire pèse moins de 30 Mo et démarre en moins de 200 ms.

Quelle est la différence entre Mako, Kafka Streams et Airflow ?

Kafka Streams est une bibliothèque Java pour traiter du streaming dans une JVM, étroitement couplée à Kafka. Airflow et Dagster orchestrent des batchs planifiés, pas du flux continu. Mako se positionne dans l'espace intermédiaire : il traite du streaming en continu comme Kafka Streams ou Apache Flink, mais avec une définition déclarative en YAML — pas de compilation Java requise — et un binaire Go autonome qui tourne aussi bien sur un serveur dédié que dans un conteneur Kubernetes ou un edge node. Les transforms WASM permettent d'écrire la logique métier en Rust, Go, AssemblyScript ou Python compilé sans recompiler le moteur. Mako est distribué sous licence MIT sur GitHub et a été conçu pour les équipes de 1 à 5 ingénieurs qui ne veulent pas gérer un cluster Flink.

Questions fréquentes

Mako est-il une alternative à Kafka Streams, Flink ou Airflow ?

Mako se positionne entre Kafka Streams/Flink (streaming) et Airflow/Dagster (DAG). Il définit des pipelines temps réel en YAML, avec des transforms WASM et de l'observabilité Prometheus, sous licence MIT.

Quelles sources Mako supporte-t-il ?

Kafka, Change Data Capture (Postgres, MySQL) et HTTP comme sources ; transforms en WASM ; sinks configurables.

Mako — Framework de pipelines de données en temps réel | mcsÉdition