Marqueur
Gratuit
Marker est l'outil
Marqueur
Paramètres et statistiques de base
Marker est l'outil de conversion de documents open source de Datalab. Le référentiel GitHub le décrit comme « Convertir rapidement un PDF en markdown + JSON avec une grande précision ». Il convertit les documents PDF non structurés et multiformats en texte structuré et constitue un outil de prétraitement courant pour préparer des corpus pour de grands modèles et des pipelines RAG (Retrieval Enhanced Generation).
| Projets | Informations publiques |
|---|---|
| Positionnement officiel | Convertissez des PDF/documents en Markdown et JSON avec une haute précision |
| Capacités de base | Restauration de mise en page, reconnaissance de tableaux, traitement de formules et de blocs de code, sortie multiformat |
| Format de sortie | Démarquage, JSON, HTML |
| Formulaire de déploiement | Bibliothèque de ligne de commande/Python open source et API cloud Datalab |
| Licence open source | Dépôt public GitHub, open source peut être auto-hébergé |
| Taille de la communauté | Environ 36 000 étoiles, 2 000 fourchettes |
| Mainteneur | Datalab (datalab.to) |
Différence de positionnement : Marker n'est pas un lecteur ou un éditeur, mais un moteur de conversion de « document en texte structuré ». Son intérêt réside dans la conservation autant que possible de la sémantique de mise en page d'origine (hiérarchie des titres, tableaux, formules), afin que les résultats de la conversion puissent être directement transmis au système de recherche et de questions et réponses.
Vérification communautaire : l'échelle d'environ 36 000 étoiles et 2 000 fourchettes montre qu'elle a été largement utilisée dans les scénarios RAG et de numérisation de documents, et qu'elle dispose d'une solide vérification externe pour les commentaires sur les problèmes et les cas limites.
Reconnaissance des utilisateurs et du marché
La reconnaissance de Marker vient principalement de la communauté open source et des pratiques d'ingénierie de l'IA. Le nombre officiel d’utilisateurs commerciaux et les revenus ne sont pas divulgués. Ces dimensions ne sont pas divulguées.
Popularité de la communauté : les données publiques de GitHub montrent environ 36 000 étoiles et 2 000 forks. Il se situe au sommet des outils d'analyse de documents open source et est souvent comparé à d'autres solutions d'analyse de PDF.
Adopteurs typiques : la plupart des personnes qui utilisent Marker sont des équipes de développement qui créent des RAG, des bases de connaissances ou des pipelines d'automatisation de documents. Ils doivent convertir un grand nombre de PDF (documents, contrats, manuels, rapports) en texte consultable.
Conditions préalables à la mise en œuvre : pour générer de la valeur, certaines capacités d'ingénierie sont requises : installation de dépendances, configuration de modèles et ajustement des paramètres en fonction des types de documents. Pour les utilisateurs qui ne disposent pas de ressources R&D et souhaitent simplement cliquer et télécharger, l’API cloud de Datalab est plus adaptée.
Avantage de coût
La valeur de coût de Marker réside dans « l'open source et la gratuité + l'auto-hébergement », ce qui réduit le coût marginal de la conversion de gros volumes de documents au niveau de l'infrastructure.
C-side/Individuel : Open source et gratuit, peut être exécuté localement ; le principal coût pour les particuliers est la puissance de calcul locale (certains modes s'appuient sur l'accélération du GPU).
Développeur/API : il peut être intégré au pipeline de données en tant que bibliothèque Python ou ligne de commande, sans frais de licence ; si vous ne souhaitez pas le créer vous-même, vous pouvez utiliser l'API cloud fournie par Datalab, et elle sera facturée en fonction du nombre d'appels. Le prix spécifique est soumis à la page officielle.
Entreprise/Privé : La fonctionnalité open source facilite le traitement des documents sensibles (contrats, rapports financiers) sur l'intranet et dans un environnement isolé, évitant ainsi de télécharger des PDF confidentiels vers des tiers. Le coût réel doit être superposé aux ressources GPU, à l'exploitation et à la maintenance, ainsi qu'à l'investissement en ajustement des paramètres par type de document.
Conseil sur la structure des coûts : Par rapport à l'API d'analyse de documents commerciaux, Marker auto-hébergé élimine le besoin de facturation à la page, mais augmente la puissance de calcul et les coûts de maintenance. Plus la taille du lot est grande et plus les documents sont sensibles, plus les avantages relatifs de l’auto-hébergement deviennent évidents.
Fonctions principales
Les capacités de Marker s'articulent autour de la « conversion de documents en texte structuré avec une haute fidélité » :
- PDF vers Markdown/JSON : préservez la hiérarchie des titres, la structure des paragraphes et des listes.
- Reconnaissance de tableau : essayez de restaurer la structure de lignes et de colonnes du tableau au lieu de la compresser en texte brut.
- Traitement de formules et de codes : Traitement spécial de formules et de blocs de codes dans les documents académiques et techniques.
- Entrée multiformat : en plus du PDF, il prend en charge davantage de formats de documents et génère uniformément du texte structuré.
- Mode amélioré LLM : les grands modèles peuvent être utilisés pour aider à améliorer la précision de la restauration de mises en page et de tableaux complexes.
Problèmes d'acceptation : les performances réelles dépendent de la qualité du PDF source (numérisation ou texte natif), de la complexité du tableau et de la disposition sur plusieurs colonnes. Il est recommandé d'utiliser des échantillons de documents réels pour évaluer les taux de restauration des tableaux et des formules avant de décider d'activer ou non l'amélioration LLM.
Evolution du modèle et de la version
Les informations sur la version publique actuelle ont été couvertes dans l’article précédent. Si le responsable ne divulgue pas entièrement les jalons de la version historique et les dates précises, il est recommandé de se référer à la page officielle en temps réel et de compléter les nœuds de version dans les itérations suivantes.
Avantages techniques
L'orientation technique de Marker est « l'analyse de documents avec la compréhension de la mise en page comme noyau » plutôt que la simple extraction de texte.
Mécanisme : combiné à l'OCR de détection de mise en page, au traitement dédié des tableaux et des formules, puis à la reconstruction des éléments au niveau du titre et au niveau du bloc en fonction de la structure du document ; des scènes complexes peuvent être superposées avec LLM pour une correction sémantique.
Effet : Par rapport à l'extraction directe de texte PDF, cette reconstruction structurée peut mieux préserver le niveau sémantique, augmentant ainsi la qualité de rappel de la récupération en aval et de la réponse aux questions.
Scénarios applicables : convient parfaitement aux scénarios d'ingénierie qui nécessitent de convertir un grand nombre de documents structurés (documents, manuels, contrats, rapports) en Markdown propre et de les transmettre à RAG. Pour les numérisations d’images pures ou l’écriture manuscrite, la précision diminuera.
Comment utiliser
Marker est principalement destiné aux développeurs et peut être utilisé comme outil de ligne de commande ou bibliothèque Python, ou vous pouvez utiliser l'API cloud Datalab à la place :
- Installation : installez les packages et dépendances Python selon les instructions de l'entrepôt (la configuration GPU est recommandée dans certains modes).
- Exécuter la conversion : convertissez des PDF uniques ou par lots en sortie Markdown/JSON.
- Ajustez les paramètres à la demande : Ajustez les options d'OCR, de reconnaissance de tableau et d'amélioration LLM en fonction du type de document.
- Pipeline intégré : Intégrez les résultats de la conversion dans le processus de vectorisation et de récupération.
- Alternative cloud : si vous ne souhaitez pas le créer vous-même, appelez l'API Datalab et utilisez-la selon vos besoins.
Conseils de mise en œuvre : pour un premier accès, il est recommandé d'utiliser un petit lot de documents représentatifs pour évaluer le taux de restauration des tables et des formules, puis de décider de l'auto-hébergement local ou de l'API cloud.
Prix des produits
Marker lui-même est open source et gratuit, et peut être utilisé sous la licence GitHub ; l'API cloud Datalab prise en charge est un service payant.
Dimension de facturation : il n'y a aucun frais de licence pour l'utilisation de l'open source, et le coût provient de la puissance de calcul, de l'exploitation et de la maintenance ; les API cloud sont généralement facturées en fonction du nombre d'appels/nombre de pages. Le prix et le quota spécifiques sont soumis à des informations en temps réel sur la page officielle de Datalab.
Conseil d'approvisionnement : si une entreprise utilise une API cloud pour traiter des documents sensibles, elle doit confirmer la stratégie de traitement et de conservation des données ; s'il est auto-hébergé, il doit évaluer les ressources GPU et les capacités de débit maximal.
Scénarios d'application
- Préparation du corpus RAG : Convertissez la base de connaissances PDF en Markdown propre pour améliorer la récupération et la qualité des questions-réponses.
- Numérisation de documents : convertissez les contrats, les manuels et les rapports en texte structuré par lots et stockez-les dans la base de données.
- Traitement du contenu académique et technique : Restaurer les formules, tableaux et codes du papier pour faciliter le traitement secondaire.
Points clés pour la vérification du scénario : chaque type de scénario doit se concentrer sur la vérification du taux de restauration des tableaux, de la séquence de mise en page multicolonne et de l'exactitude des formules, en particulier pour les documents sensibles à la structure tels que les contrats et les rapports financiers.
Personnes concernées
- AI/Data Engineer : Une équipe qui construit du RAG et une base de connaissances et qui a besoin de regrouper des documents structurés.
- Équipe de recherche et de documentation : Chercheurs qui ont besoin de convertir un grand nombre d'articles ou de documents en texte modifiable.
- Équipe interne de plateforme d'entreprise : une équipe qui gère des documents sensibles dans un environnement isolé et exige que les données ne soient pas envoyées.
Ne convient pas à la limite : les utilisateurs qui ne disposent pas de ressources R&D et souhaitent uniquement télécharger et convertir via une interface graphique sont plus adaptés à l'utilisation de l'API cloud ; lors du traitement de numérisations purement manuscrites ou de mauvaise qualité, ils doivent accepter une diminution de la précision.
Résumé et Outlook
La principale compétitivité de Marker réside dans sa conversion open source de haute précision de documents en texte structuré et dans sa capacité à auto-héberger le traitement de données sensibles. Il présente une valeur évidente pour les équipes d’ingénierie qui créent des pipelines RAG et d’automatisation des documents. La taille de la communauté d'environ 36 000 étoiles confirme sa position de leader dans le domaine de l'analyse de documents. Les limitations actuelles sont les suivantes : cela nécessite certaines capacités d'ingénierie, il existe encore des limites de précision pour les documents numérisés et les formulaires complexes, et la date de la version externe unifiée n'a pas été divulguée.
Il convient d'observer la précision de son mode amélioré LLM, la prise en charge de nouveaux formats et l'évolution de l'API cloud à l'avenir. Il est recommandé aux équipes d'utiliser d'abord des échantillons de documents réels pour évaluer les taux de restauration des tableaux et des formules avant de choisir entre les API auto-hébergées et cloud ; les entreprises qui traitent des documents sensibles doivent donner la priorité à la vérification des limites de débit et de conformité des solutions auto-hébergées.
Evolution de la version du marqueur
Marker continue d'itérer sur GitHub et l'évolution des versions se reflète dans l'expansion de la précision et de la prise en charge des formats.
Début
La version 0.x prend le format PDF vers Markdown comme noyau et établit les capacités de base de restauration de mise en page et de reconnaissance de tableaux de haute précision.
Stade actuel
La ligne principale 1.x étend la sortie JSON/HTML d'entrée multiformat et le mode d'amélioration LLM en option en plus de la conversion de base, rendant la qualité de restauration de mises en page complexes (plusieurs colonnes, tableaux denses, formules) plus contrôlable. Le numéro de correctif spécifique dépend des versions de GitHub et il n'y a aucune annonce officielle sur la date de sortie unifiée.
Comparaison des produits concurrents
| Dimension de comparaison | Marqueur | Concurrent A | Concurrent B |
|---|---|---|---|
| Différences fondamentales | — | — | — |
| Prix | — | — | — |
| Utilisateurs cibles | — | — | — |
Remarque : la comparaison ci-dessus est basée sur les informations publiques sur le produit et les différences réelles sont basées sur l'expérience utilisateur.
Informations de version
- Marqueur 1.x ：La version principale de l'itération continue de GitHub prend en charge la conversion de documents PDF et multiformats en Markdown/JSON/HTML, et intègre le mode d'amélioration LLM pour améliorer la précision des mises en page complexes. Le numéro de correctif spécifique dépend des versions de GitHub et il n'y a pas encore de date de sortie unifiée.
- Marqueur 0.x ：La première version se concentrait sur la conversion de PDF en Markdown, jetant ainsi les bases d'une restauration de mise en page et d'une reconnaissance de tableaux de haute précision. La date de sortie officielle n'a pas été annoncée, et il n'y a pas encore de date officielle précise.
Avis des utilisateurs