Youtu-Parsing-Omni : Tencent transforme pages, tableaux et audio en un seul JSON
Tencent publie Youtu-Parsing-Omni, un modèle de 5 B qui convertit une page de document, un graphique, un organigramme, un fichier audio ou une vidéo en un seul bloc JSON structuré. Sa fiche annonce 97,0 sur OmniDocBench v1.6, au niveau des meilleurs OCR spécialisés, mais il exige un GPU et porte une licence propre.
Tencent publie Youtu-Parsing-Omni, un modèle de 5 B qui convertit une page de document, un graphique, un organigramme, un fichier audio ou une vidéo en un seul bloc JSON structuré. Sa fiche annonce 97,0 sur OmniDocBench v1.6, au niveau des meilleurs OCR spécialisés, mais il exige un GPU et porte une licence propre.
Ce que fait le modèle
Les outils de parsing documentaire produisent en général du Markdown. Youtu-Parsing-Omni renvoie du JSON : chaque élément de la page arrive avec son type, son ordre de lecture et sa boîte englobante sur une grille de 0 à 1 000. Les tableaux sont décrits en OTSL, un format compact convertible en HTML ; les formules en LaTeX ; les graphiques en Markdown ; les organigrammes en Mermaid. Pour l'audio et la vidéo, le même JSON contient la transcription et des horodatages au format HH:MM:SS.
Le modèle repose sur un encodeur unique, Youtu-Omni-Encoder, et un décodeur Youtu-LLM. La fiche décrit trois étapes de post-entraînement : affinage supervisé, apprentissage par renforcement guidé par le schéma de sortie, puis distillation. Huit tâches sont exposées par un paramètre --task : document, image naturelle, graphique, organigramme, figure géométrique, audio, vidéo naturelle, vidéo riche en texte.
Ce que la fiche annonce, et ce qu'il faut vérifier
Sur OmniDocBench v1.6, la fiche donne 96,96 au global, avec un TEDS tableaux de 96,79 et une distance d'édition texte de 0,027. Dans le même tableau, PaddleOCR-VL-1.6 (0,9 B) obtient 96,34, MinerU2.5-Pro (1,2 B) 95,75 et Gemini-3-Pro 92,91. À titre de comparaison, TeleOCR (1,2 B) annonce de son côté 96,87 : un écart de 0,1 point, chacun mesuré par ses auteurs. Sur OmniParsingBench, le benchmark multimodal créé pour l'occasion, le modèle fait 75,08, derrière Gemini-3-Pro (77,44), et se présente comme le meilleur à poids ouverts. Sur la chimie (ChemOCR) et les partitions musicales, il fait jeu égal ou légèrement moins bien que les spécialistes.
Plusieurs réserves. Le rapport technique est annoncé « à venir » dans l'en-tête alors que la rubrique actualités le dit publié ; le code d'évaluation est marqué « TBD ». Les langues couvertes ne sont pas précisées : rien n'indique le niveau en français. La licence « youtu-parsing » est un texte propre dont nous n'avons pas lu les clauses ; il faut le faire avant tout usage en entreprise. Le format PDF n'est pas cité : la fiche travaille sur des images de pages. Enfin, l'inférence exige un GPU CUDA et trust_remote_code=True, c'est-à-dire l'exécution de code livré avec le modèle ; la fiche recommande d'épingler une révision précise. Aucune VRAM minimale n'est donnée ; la configuration vLLM publiée fixe un contexte de 65 536 tokens et 70 % de la mémoire GPU.
Face à TeleOCR et aux OCR légers
| Youtu-Parsing-Omni | TeleOCR | |
|---|---|---|
| Taille | 5 B | 1,2 B |
| Entrées | pages, graphiques, audio, vidéo | pages |
| Sortie | JSON (OTSL, LaTeX, Mermaid, boîtes) | texte, OTSL, LaTeX, layout |
| OmniDocBench v1.6 (fiche) | 96,96 | 96,87 |
| Langues annoncées | non précisées | chinois, anglais |
| Licence | youtu-parsing (propre) | Apache 2.0 |
| Local sans GPU | non | GGUF communautaires (llama.cpp, Ollama) |
Le choix est clair pour un PC de bureau : TeleOCR tourne en GGUF et sa licence est permissive. Youtu-Parsing-Omni vise une station ou un serveur, et apporte en échange la sortie JSON unifiée et les modalités audio et vidéo. Pour tester sur des documents réels, le jeu bharat-government-documents repéré ce matin ne conviendra pas : d'après sa fiche, il contient 65 k textes déjà extraits de sites administratifs indiens (40 Go, droits par source), pas de scans.
Comment l'essayer
- Sur une station avec GPU : installer vLLM 0.19 et le plugin
vllm-plugin-vita-omniindiqués par la fiche, puis lancer le serveur compatible OpenAI avec--max-model-len 65536. - Convertir dix PDF représentatifs en PNG (une page par image, 200 dpi) : factures, formulaires scannés, comptes rendus avec tableaux.
- Appeler la tâche
document, enregistrer le JSON, convertir les tableaux OTSL en HTML et compter les cellules fausses sur deux tableaux par page. - Passer les mêmes pages à TeleOCR en GGUF sur le PC et comparer : qualité des tableaux, respect de l'ordre de lecture, temps par page.
- Lire la licence et noter la révision du dépôt utilisée avant toute intégration.
À surveiller : la publication du rapport technique et du code d'évaluation, le texte de la licence, et une éventuelle quantisation qui ramènerait le modèle sous 16 Go de VRAM.