Le ménage a été fait. Aucune trace des prototypes de reflex japonais que DxOMark teste secrètement dans ses laboratoires de Boulogne-Billancourt (Hauts-de-Seine). Les smartphones que DxOMark reçoit des mois avant leur sortie ont également été escamotés, remplacés par un banal iPhone de série, calé sur son banc de test.

Les locaux de DxOMark sont sans ostentation, mais les verdicts de qualité photo qu’établit cette PME française sont devenus une référence mondiale. Depuis quelques mois d’ailleurs, plusieurs fabricants de smartphones se livrent une partie de ping-pong en se renvoyant publiquement leurs scores DxOMark.

En octobre, le Google Pixel 2 obtenait une note de 98 points, surpassée en janvier par les 99 points du Samsung S9 plus, puis par les 109 points du Huawei P20 pro en mars. Mercredi 23 mai, c’était au tour de HTC de communiquer sur les 103 points de son HTC U12+.

En dix ans, la petite entreprise française a conquis le monde. Si l’on en croit son vice-président marketing Nicolas Touchard, DxOMark travaillerait aujourd’hui pour la quasi-totalité des grands fabricants d’appareils photo, de smartphones et d’objectifs : Nikon, Leica, Panasonic, Samsung, GoPro, DJI, etc.

La PME aide leurs ingénieurs en attribuant une note de qualité photo à leurs prototypes en cours de développement, parfois à plusieurs moments de sa conception. Pourquoi ces géants qui emploient des milliers de personnes ont-ils besoin des services d’une petite entreprise de soixante employés, installée dans un pays à l’industrie photographique moribonde ? Pourquoi ses tests font-ils référence ?

La « formule secrète » de l’entreprise

DxOMark est équipée d’un laboratoire à la pointe des standards internationaux, mais beaucoup d’autres entreprises aussi. La clef de la réussite de DxOMark réside plutôt dans l’intelligence avec laquelle cette PME interprète ses tests : ses rapports sur les smartphones font quatre-vingts pages mais sont résumés en une simple note, qui tente de donner une vision instantanée de la qualité du smartphone.

« Cette note doit être représentative de l’utilisation standard de l’appareil », répète souvent Hervé Macudzinski, directeur scientifique de l’image. Cet art de la synthèse est le point fort de DxOMark. « Notre formule secrète, tout le monde voudrait nous l’acheter », sourit Nicolas Touchard. Il en donne toutefois un petit aperçu. DxOMark teste les smartphones sur neuf critères :

Ceux-ci ne pèsent pas tous aussi lourd dans la note finale. Au sommet de la pyramide trône le critère « exposition », qui juge le degré de luminosité et de contraste. Viennent ensuite la couleur, puis la finesse et la propreté des détails.

Les notes de DxOMark sont basées sur l’évaluation rigoureuse de deux mille photographies tirées avec chaque smartphone testé. Les ingénieurs ont une certaine pression sur les épaules : chaque test doit être « répétable », c’est-à-dire qu’il faut pouvoir le reproduire le lendemain et obtenir exactement le même résultat.

Des centaines de photos en laboratoire

Par exemple, pour vérifier l’aptitude de l’appareil à ne point « brûler » les photos, à transformer un ciel bleu en fromage blanc notamment, DxOMark mesure l’écart que l’appareil capture entre le point le plus sombre d’une image et le plus lumineux.

Pour contrôler la justesse des couleurs, des photographies sont prises avec cinq types d’éclairage différents, led, tungstène, et différents tubes fluorescents. Ils ne suffisent cependant pas à simuler tous les luminaires artificiels qu’on rencontre dans la réalité, explique M. Macudzinski :

« Le laboratoire ne donne pas réponse à tout, il faut bien connaître les limites des tests qu’on y mène. Pour chacun des critères de notre rapport, nous réalisons des tests en intérieur et en extérieur pour compléter nos analyses en laboratoire. »

DxOMark mène plus d’une centaine de tests distincts, tous pensés dans le moindre détail pour répondre à une question précise. Ses ingénieurs jugent souvent de façon tranchée, mais certaines analyses sont plus réservées. « Nous nous tenons à l’écart des questions trop subjectives, explique Hervé Macudzinski. Le rendu des couleurs, par exemple, n’est pas totalement objectivable. Nous, nous nous contentons donc de définir des marges d’acceptabilité. Nous ne sanctionnons que les erreurs franches. »

Impossible de tout tester

Aussi complets soient-ils, les tests de DxOMark ne couvrent pas 100 % des situations qu’un utilisateur rencontrera sur le terrain, appareil photo en main.

« Notre protocole fournit un score valable uniquement pour des conditions de ciel bleu. Nos tests en extérieur ont lieu quand le soleil proche de son zénith. On ne peut pas tout traiter. Comment intégrer des photos par ciel couvert ? On n’arriverait pas à retrouver des conditions comparables pour chaque appareil. »

Impossible de reproduire toutes les conditions météorologiques, de la brume à la neige, du soleil nordique au soleil tropical. Impossible de tester toutes les matières dans lesquelles la lumière se reflète, réfléchissantes, absorbantes, ou autres. Pour y parvenir, il faudrait multiplier les scènes de tests à l’infini. Impossible, par conséquent, de détecter toutes les erreurs qu’un appareil photo peut faire.

M. Macudzinski l’admet volontiers : tout test photo est condamné à rester à une certaine distance de la perfection. Les appareils photo conçus dans des conditions épurées ne risquent-ils pas de perdre les pédales dans des conditions plus chaotiques ?

« Certains fabricants de smartphones réalisent de grandes quantités de photos sans protocole précis. Dans les milliers de clichés récoltés, ils peinent à isoler des critères de qualité précis. Ils n’ont pas de méthodologie carrée et répétable. Si on ne simplifie pas un minimum la réalité, on se noie. Notre protocole crée de la lisibilité et de la comparabilité. Il permet de cerner facilement les faiblesses d’un appareil photo, et de réorienter intelligemment les priorités de développement. »

Faut-il écarter toute subjectivité ?

Demeure néanmoins une interrogation : la note de synthèse que délivre DxOMark semble utile pour les clients industriels de la PME, mais est-elle systématiquement pertinente pour le grand public ? Cette note publiée sur son site Internet, parfois accompagnée d’un article détaillé, ne risque-t-elle pas d’écraser la complexité de la question ? Peut-on résumer les goûts d’utilisateurs fort différents en une seule note ?

Tout le monde n’a pas la même définition d’une bonne photo. Certains apprécient les images aux couleurs naturelles quand d’autres les préfèrent légèrement chaudes, voire vives et saturées ; certains accordent une importance cruciale à la netteté, quand d’autres y prêtent à peine attention, etc.

Quand un smartphone obtient une note 5 % plus élevée qu’un concurrent, comme c’est souvent le cas entre deux smartphones haut de gamme, la différence de qualité objective semble négligeable. Ne faudrait-il pas souligner les différences stylistiques entre les appareils ?

« Nous encourageons le grand public à lire nos tests poussés », répond Nicolas Touchard. « Mais c’est vrai, nous devrions plus insister sur les différences subjectives dans nos tests », reconnaît Hervé Macudzinski. Et pourquoi ne pas exploiter ces tests détaillés pour s’adapter à chaque utilisateur, en délivrant une note personnalisée à partir de questions qui lui seraient posées ? « On y réfléchit », répond M. Macudzinski. « Mais c’est un travail colossal », tempère M. Touchard.

Visites chez les fabricants

DxOMark a d’autres métiers que la notation. Certains fabricants font confiance en son expertise au point d’appeler ses experts à la rescousse pour régler finement leurs appareils photo avant leur sortie. Des employés se rendent dans des laboratoires asiatiques ou américains de ces très grands fabricants. L’entreprise se trouve alors dans la position délicate de juger son propre travail, en attribuant une note finale à un appareil photo que ses équipes ont contribué à mettre au point.

« Dans ce cas-là, nous nommons deux équipes totalement indépendantes, borde Nicolas Touchard. Il faut qu’on fasse extrêmement attention à cela, sinon nous ne sommes plus indépendants. » Les résultats sont publiés quoi qu’il arrive, « même quand ils sont gênants pour le fabricant. Même en cas de forte pression, ce qui arrive fréquemment. Nous avons la propriété juridique de nos tests ». Hervé Macudzinski l’assure : « C’est un jeu auquel les fabricants acceptent de jouer. »