Imprimer

Merci de vous connecter ou de vous inscrire.
1 heure 1 jour 1 semaine 1 mois Toujours
Connexion avec identifiant, mot de passe et durée de la session

[tonin]

Suite a un débat apparu sur un autre topic et par soucis de clareté, je crée un topic reservé a cette discussion.

Il sera donc question de discuter de de votre point de vue sur les differents professionnels de l'actualité informatique (site/magazine).

Bien entendu, comme d'habitude, pas d'insultes ou de propos injurieux.

J'attends de votre part un debat constructif et reflechi.

Je vous donne donc des maintenant la parole.

 

[flo]

Pour résumer :

Dans ton exemple, tu as un écart en fréquence de 6.6%, pour un écart dans le bench de 7.7%, jusque là rien de scandaleux 

Après, je trouve qu'il est dommage de diaboliser les sites qui vivent du hardware, sous pretexte qu'ils en vivent... c'est pas un mal en soi que de souhaiter vivre de sa passion. Et ca signifie pas forcément corruption dans les tests, faut pas voir le mal partout.

Surtout que : pour qu'un site vive correctement, il faut qu'il fasse un bon boulot : car s'il fait du mauvais boulot, ca se sait, ca veut dire de la fréquentation en moins, donc des recettes en moins. Peu de sites pro ont je pense envie de passer pour des charlots avec des tests faussés, pour se voir bannir de tous les lecteurs assidus... regarde Gen3D et leur faux bench de la HD2900 : tous les fidèles ont quitté le site pour aller sur... WPS entre autre, car la confiance n'était plus là et n'y est toujours plus, d'ailleurs  Je vois pas un site pro jouer à ce jeu là...

Après, penser que les testeurs des sites pro sont des blaireaux qui y connaissent rien en info et baclent leurs tests en quelques heures, c'est un raccourci un peu rapide je trouve : ce sont quand meme des gens passionnés qui passent leurs journées à tester du matos, du matos de tout horizon ; ce sont des gens qui ont accès aux dernières nouveautés, qui ont des contacts auprès des fabricants, choses que peu de sites "amateurs" peuvent avoir... et qui derrière font ce qu'ils peuvent faire pour sortir des news quotidiennes.

Ces sites disposent aussi bien souvent d'une palette de matos et d'équipements de tests qui leur permet de faire des tests solides : le comparo des 50 alims de Matbe, pour toi c'est du travail d'amateur baclé en un jour et que n'importe qui peut faire dans son garage ?

Après, je pense que dans le monde Hardware, il y a de la place pour tous les sites : les sites professionnels pour des comparos globaux, grand public, et des news généralistes au kilo ; et les sites amateurs qui approfondissent certains produits vers des détails de spécialistes, échangent des infos etre passionnés, etc...

Ce type de comparaison pourrait etre fait dans plein de domaine, dans plein de métiers 

ca jsuis tout a fait d'accord avec toi mais si tu crois que les testeurs chez les sites de type SARL font ca par passion pur du hardware, la tu te care le doigt dans l'oeil malheureusement  ... je ne vois pas le mal partout mais merde, quand meme !!!! 8% entre chaque site, et la différence entre le site et l'utilisateur final qui possède un core 2 duo a 2.4GHz en moyenne t'en fait quoi 

Ils vivent sur leur réputation car par le passé la différence entre les sites dépassait pas les 1% ... Maintenant quand tu vois deja comment procèdent les constructeurs, comment veux tu que les sites qui recoivent directement du matos sans rien demander propose des tests pas truqués ? franchement d'apres ce que j'ai entendu d'apres des sources sures bah ca fait peur l'informatique hardware ....

En ce qui concerne GEN3D, il y a d'autres causes derriere dont je ne parlerai pas c'est leur problème pas le notre.

Les sites pros, ils sont payés pour sortir des tests, ça ne s'appelle pas du partage de l'info mais de l'obligation. Et quand on est obligé de faire quelque chose, ça se ressent forcément la qualité de l'article. je ne par le pas d'un test mal structuré mais plus d'un test baclé surtout pour une carte comme la Radeon HD 3870 X2. Ils testent rien au final quand tu regardes leur test, ils oublient les tests de bande passante du PCI-express 1.1 sur la X2 face au PCI-express 2.0, ils oublient les tests d'overclocking avec des VRAIS logiciels, ils oublient de faire un test sur la température en fonction de la vitesse du ventilo, bref, jpense qu'ils oublient quand meme pas mal de choses qui risquent d'intéresser un bon nombre de personne ...

Pour la panoplie de matos qu'ils peuvent avoir, ca rejoint mon avis, tu regardes les différents tests de toutes les CG, y'en a pas un qui dit pareil. En ce qui concerne MatBE, j'ai jamais dit qu'ils faisaient des tests baclés et la preuve, qui a sorti un test de 105 alimentations mis à part eux  personnes, tout simplement. Hardware.fr est aussi un très bon site car ils détaillent l'architecture du GPU tester et je considère ce site comme une très bonne base pour comparer. Ils en sortent pas beaucoup mais sont vraiment spécialisés dans le hardware.

Apres tout cela, tu peux penser ce que tu veux, mais le fait que aucun test ne dise la meme chose, franchement c'est clair, soit ils testent a -50°C pour avoir une meilleure stabilité soit y'a un lézard dans le schmilblic 

La on a 2 avis différents, le premier de MSX et le deuxième de R4E.

[flo]

Personnellement, la technologie avant tout!
Comme j'ai mis : "Innovation : maître mot du monde hardware!"
Tester un produit qui n'évolue pas ou un produit qui évolue linéairement n'a aucun intérêt. L'apparution de différents points de vue technologique, c'est ca que nous testeurs testons. Si les cartes étaient les mêmes, on chercherait même pas à savoir qui a tord et qui a raison.
Il faut pas oublier l'essentiel entre la technologie durable et la technologie passagère.

Mon discours s'arrêtera là!

[Goten]

Hum bon vous allez dire que je m'acharne hein mais bon prenons l'exemple du phenom...

Avant de l'acheté je lis des tests quad plus normal (si vous me permettez la saillie pour une phenom... ) me direz vous. Alors premiére chose sur laquelle je tombe : des problèmes des mémoires que l'on ne peut pas passer en ganged ce qui entraine une perte de performance. Selon deux sites même avec une dizaine de leurs kits toujours le même problèmes : au résultats 20 kits différent et toujours un mode ganged unstable. Oki moi je test avec mon kit : résultat aucun problèmes de stabilité et des perfs très très légérements supérieur (si on me l'avais pas dit je l'aurais pas remarqué.). alors eux 20 kits moi 1 et je tombe pile sur celui qui marche? j'ai pas fait beaucoup de proba mais j'ai du mal à y croire. Bizarrement les deux sites ne montrent pas le détail de leur kit donc impossible de vérifier si ils possédent le même que moi.
Ce que je trouve étonnant c'est qu'un de ces sites est hfr un site qui d'habitude nous pond de super test .. enfin bref.

Y'a pas longtemps après l'achat de mon phenom je tombe sur un test encore plus complet et en français sur un 'petit' site : résultat une vraie impartialité et un test totalement objectif. Qui sais tirer de vraie conclusion autre que de superbe : 'N'achetez pas ces processeurs -_-'.


Bon pour sortir du contexte du phenom (sinon on va m'accuser de faire une fixette :p) :

Y'a pas si longtemps que sa cluclu devait tester une carte graphique qui soit disant n'a pas marché sur leur chip et a donc balancé qu'ils ne feraient pas le test d'un produit qui est nase (il a presque di sa comme sa). Bref cluclu? on va pas épiloguer mais bon leur manque plus que la banniére verte et bleu et c'est bon... Sans parler de pcinpact qui vont jusqu'a troller sur amd/ati dans leurs news : j'appelle pas sa du journalisme et quand on se prétend être des professionnels on ne fait pas ce genre de chose. Qu'un site modeste et pro quelque chose se permette se genre de chose pourquoi pas mais là :s...

[msxfan]

Tout d'abord, merci à Tonin et Flo pour le démarrage de ce Topic 

Bon, je pense que le premier point, c'est de lever le différend sur les différences notées entre les sites. Si quelqu'un a remarqué qu'entre 2 sites, à config identique, il y a des différences de résultats, n'hésitez pas à le poster sur ce topic pour qu'on constate de visu les chiffres 

Personnellement je ne crois pas à la théorie que les sites pro truquent leurs résultats : pourquoi le feraient-ils, et de facon visible ? Je crois par contre qu'il existe des différences entre les configs, qui conduisent inévitablement à des différences dans les benchs. C'est inévitable, aucun site n'utilise exactement la meme config.

Sinon, il est certain qu'un site "amateur" va plus loin dans l'analyse d'un composant, car il en a les moyens humains (temps), la passion, etc. Après, le site pro dispose d'une base de comparaison également très intéressante, car il possède du matos en stock de toute horizon et de toute nature, du matos de test, de l'expérience aussi.

Après il y a à mon sens des trucs assez dur à mesurer : l'impact du PCI-E 2.0 par exemple face au 1.1 : pas évident, surtout quand on sait dans l'exemple d'aujourd'hui que la X2 n'est pas en 2.0 mais en 1.1 

 

[radeon4ever]

bon et ben on va commencer

niveau config, les cartes sont presques similaires, le proc est éxactement le meme seul la mémoire change (DDR3 pour Matbe) mais c'est pas ca qui amene une grosse différence)

jeu : FEAR
résolution : 1920x1200
filtres : aucun
résultat Clubic : 111
résultat MatBE : 183
Gen3D : N/A

jeu : FEAR
résolution : 1280x960
filtres : aucun
résultat Clubic : 154
résultat MatBE : 264
Gen3D : 204.35


jeu : HL² Episode 2
résolution : 1280x1024
filtres : aucun
résultat Clubic : 137.25
résultat MatBE : N/A
Gen3D : 148.25

jeu : Need For Speed Pro Street
résolution : 1280x1024
filtres : aucun
résultat Clubic : N/A
résultat MatBE : 79
Gen3D : 122.05

jeu : Crysis
résolution : 1280x1024
filtres : aucun
Qualité : Veri High
résultat Clubic : 25.11
résultat MatBE : 24.4
Gen3D : 24.1
(ici Gen3 a la config la plus performante avec son quad a 3.2GHz puis matbe a de la DDR3 mais un quad a 3GHz et clubic qui a la config la moins puissante, et ici, l'ordre est totalement inversé ...)

jeu : World In Conflict
résolution : 1280x1024
filtres : aucun
résultat Clubic : 33
résultat MatBE : 39
Gen3D : N/A

Bref jte laisse faire les calculs de différence mais tes 6 a 8% sont bien loin dans certains cas .... si avec ca, les tests sont pas magouillés, la c'est bon moi j'arrete l'info direct

[mister cxo]

bon et ben on va commencer

niveau config, les cartes sont presques similaires, le proc est éxactement le meme seul la mémoire change (DDR3 pour Matbe) mais c'est pas ca qui amene une grosse différence)

jeu : FEAR
résolution : 1920x1200
filtres : aucun
résultat Clubic : 111
résultat MatBE : 183
Gen3D : N/A

jeu : FEAR
résolution : 1280x960
filtres : aucun
résultat Clubic : 154
résultat MatBE : 264
Gen3D : 204.35


jeu : HL² Episode 2
résolution : 1280x1024
filtres : aucun
résultat Clubic : 137.25
résultat MatBE : N/A
Gen3D : 148.25

jeu : Need For Speed Pro Street
résolution : 1280x1024
filtres : aucun
résultat Clubic : N/A
résultat MatBE : 79
Gen3D : 122.05

jeu : Crysis
résolution : 1280x1024
filtres : aucun
Qualité : Veri High
résultat Clubic : 25.11
résultat MatBE : 24.4
Gen3D : 24.1
(ici Gen3 a la config la plus performante avec son quad a 3.2GHz puis matbe a de la DDR3 mais un quad a 3GHz et clubic qui a la config la moins puissante, et ici, l'ordre est totalement inversé ...)

jeu : World In Conflict
résolution : 1280x1024
filtres : aucun
résultat Clubic : 33
résultat MatBE : 39
Gen3D : N/A

Bref jte laisse faire les calculs de différence mais tes 6 a 8% sont bien loin dans certains cas .... si avec ca, les tests sont pas magouillés, la c'est bon moi j'arrete l'info direct

je plussoie 

pour pouvoir faire une vrai comparaison il faudrait créer des protocoles de test avec deux ou trois config type commune à chaque testeur avec proco à la même fréquence et de chaque constructeur .

ainsi que chose trés importante les drivers utilisé pour le test de chaque produit ... car déjà si pour tester une carte graphique d'un constructeur si les drivers différe d'un site à l'autre faut pas s'étonner d'avoir des disparité dans les résultats...

enfin moi je dis ça...

de plus sur qu'elle partie du jeux est testé le produit , on sait tous que d'un niveau à l'autre le jeux est plus ou moins gourmand et selon les scénes...en gros ça revient à ce que j'ai dit sur un autre topic les résultat tu les fais parler comme tu veux.

[radeon4ever]

je plussoie 

pour pouvoir faire une vrai comparaison il faudrait créer des protocoles de test avec deux ou trois config type commune à chaque testeur avec proco à la même fréquence et de chaque constructeur .

ainsi que chose trés importante les drivers utilisé pour le test de chaque produit ... car déjà si pour tester une carte graphique d'un constructeur si les drivers différe d'un site à l'autre faut pas s'étonner d'avoir des disparité dans les résultats...

enfin moi je dis ça...

de plus sur qu'elle partie du jeux est testé le produit , on sait tous que d'un niveau à l'autre le jeux est plus ou moins gourmand et selon les scénes...en gros ça revient à ce que j'ai dit sur un autre topic les résultat tu les fais parler comme tu veux.

Bah ici en l'occurence, les configurations sont presque identiques. Les drivers pour la 3870 X2 ... en meme temps on va dire que y'a pas trop le choix 

[mister cxo]

je plussoie 

pour pouvoir faire une vrai comparaison il faudrait créer des protocoles de test avec deux ou trois config type commune à chaque testeur avec proco à la même fréquence et de chaque constructeur .

ainsi que chose trés importante les drivers utilisé pour le test de chaque produit ... car déjà si pour tester une carte graphique d'un constructeur si les drivers différe d'un site à l'autre faut pas s'étonner d'avoir des disparité dans les résultats...

enfin moi je dis ça...

de plus sur qu'elle partie du jeux est testé le produit , on sait tous que d'un niveau à l'autre le jeux est plus ou moins gourmand et selon les scénes...en gros ça revient à ce que j'ai dit sur un autre topic les résultat tu les fais parler comme tu veux.

Bah ici en l'occurence, les configurations sont presque identiques. Les drivers pour la 3870 X2 ... en meme temps on va dire que y'a pas trop le choix 

non mais là je parle en général et non spécialement de la X2 , je ne parle pas non plus de WPS comme je l'ai déjà indiqué sur l'autre topic mais des sites bien connu en général car les disparité dans les résultats c'est pas d'aujourd'hui.
je n'ai jamais visé WPS bien au contraire 

[radeon4ever]

pas de souci je ne te visais aucunement sur ce point 

[mister cxo]

ok no souci 

[M00Ky]

Je trouve les écarts très important moi aussi  , chacun en concluera ce qu'il voudra ...

[msxfan]

Mais nan les gars, faut comparer ce qui est comparable...

Comme ca a été dit, les conditions de test sont différentes, puisque les scènes de jeux utilisées sont différentes... impossible dans ce cas là de faire la moindre comparaison entre sites ! Meme à config équivalente !

Soit les scènes de tests sont identiques (benchs intégrés au jeu), soit on utilise un bench (genre 3DMark) ; mais dans tous les autres cas la comparaison est inutile.

Ce qu'il faut comparer, c'est pas ca : c'est plutot l'écart de perf entre cartes graphiques, mais dans les memes conditions de test.

Exemple : comparaison d'une HD et d'une 8800 dans Fear, chaque site ayant son parcours de test différent (mais pas trop quand meme niveau charge graphique) : si sur un site, l'écart de perf est de 50%, et sur un autre 10%, là il y a un problème ; mais si l'écart de perf est le meme, il y a pas de quoi crier au scandale...

[msxfan]

Si quelqu'un trouve des écarts de perf sur des parcours scriptés, ou des benchs, je suis preneur 

[radeon4ever]

Mais nan les gars, faut comparer ce qui est comparable...

Comme ca a été dit, les conditions de test sont différentes, puisque les scènes de jeux utilisées sont différentes... impossible dans ce cas là de faire la moindre comparaison entre sites ! Meme à config équivalente !

Soit les scènes de tests sont identiques (benchs intégrés au jeu), soit on utilise un bench (genre 3DMark) ; mais dans tous les autres cas la comparaison est inutile.

Ce qu'il faut comparer, c'est pas ca : c'est plutot l'écart de perf entre cartes graphiques, mais dans les memes conditions de test.

Exemple : comparaison d'une HD et d'une 8800 dans Fear, chaque site ayant son parcours de test différent (mais pas trop quand meme niveau charge graphique) : si sur un site, l'écart de perf est de 50%, et sur un autre 10%, là il y a un problème ; mais si l'écart de perf est le meme, il y a pas de quoi crier au scandale...

deja sous FEAR, jvois mal les testeurs se faire chier a bencher sur une partie de jeux sachant qu'il existe un bench intégré qui relance la meme scene .... Idem pour HL² et Crysis. Ensuite tu veux comparer 3Dmark alors comparons
Quant à 3Dmark2006, Clubic est à 15215 et d'autres sites dans les 16000 pour une configuration presque identique ..... bravo

[msxfan]

Lu sur le dernier test de clubic sur la HD X2 : "Nouveau venu dans notre protocole, Enemy Territory : Quake Wars est ici testé dans sa version 1.4 avec une démo de notre cru."

Je te trouverai d'autres protocoles de test perso dans le genre  Sans compter les différences de réglage dans chaque jeu (AA, Anisotrope, activé dans les drivers, activés dans le jeu...) ou chacun fait ce qu'il veut.

Pour la différence de 3DMark, encore une fois elle est parfaitement normale : 6,6% d'écart de fréquence CPU pour un écart de score de 7,7%, pour moi il y a pas scandale quand on sait que le 3DMark06 est CPU dépendant... au final, à fréquence égale, on serait à moins d'1 pourcent de perf de différence 

Encore une fois, pour moi il faut comparer ce qui est comparable : soit une meme carte entre 2 sites sur un bench ou un script intégré : soit des écarts de perfs entre cartes graphiques, entre sites... le reste c'est de la spéculation hasardeuse...

Trouvons donc de vrais écarts entre configs identiques, benchs identiques (et identiquement réglés), et là je commencerai à trouver une critique objective à ces sites.

[flo]

Je suis assez d'accord avec mister cxo!
Si les scènes sont différentes les jeux aussi. Un truc de cohérent chez clubic, FEAR = NVidia, World In conflict = NVidia, HL² = ATI et Call Of Juarez = ATI (du au différend entre NVidia et l'éditeur)
Et ca même 3DMark n'y échappe pas pour arrondir ses fins de mois!
Quand à Crysis, ils ont joués sur la réputation de Far Cry et ce sont reposer sur leur partenaire (NVidia)

Après pour comparer des cartes qui matériellement n'ont plus la même orientation ni même le même objectif final, ca devient difficile. C'est d'ailleurs pour ca qu'AMD ou NVidia imposent leurs logos derrières les boites de jeu (quelle belle invention que l'optimisation logicielle, croyez moi c'est mon métier!). On peut dire que tout ca c'est du marketing, mais aujourd'hui cela se fait de plus en plus ressentir à la vue des orientations de chaque constructeur.

Comme je le dit toujours et on en revient TOUJOURS au même point :
Une scène texturée = Nvidia gagnant
Une scène shaderée = ATI gagnant
Et vous pouvez recomparez ca avec les jeux ci dessus (FEAR, HL², WiC, Call Of Juarez DX10...)

C'est pour ca que chaque site va avoir son opinion vis à vis d'un produit. En fait pour avoir la vérité, il faut :
* étudier le jeu ou le bench en profondeur et faire des calculs sur quelles unités sont impliquées (c'est la que l'AMD Perf Studio va peut être me servir )
* savoir expliquer POURQUOI telle ou telle carte domine
* Quand au CPU impliqué c'est de moins en moins vrai. Les points de coordonnées sont toujours calculés avec le CPU mais plus pour très longtemps avec les futures API DX de Microsoft

[msxfan]

Nan mais là, c'est un autre débat Flo  Là, on se demande pas pourquoi telle carte est meilleure qu'une autre, d'ATI ou Nvidia, on se demande juste si les sites pro bidouillent leurs tests en faveur d'une marque ou d'une autre... C'est à dire modifient les résultats des benchs sciemment...

Et pour l'instant, pas de preuve probante à mon sens  Car comparer des résultats d'une meme carte, sur 2 sites, mais sur des phases d'un meme jeu probablement différentes, voir paramétrages différents, c'est pas probant 

Seul le pourcentage de perf pour ce meme jeu pour 2 cartes différentes, et ce sur 2 sites, peut etre comparé. Bien que dans l'absolu on suppose que seuls les scripts soient différents ; car si les paramétrages du jeu, la définition, antialiasing and co sont pas les meme sur chaque site, les pourcentages d'écart de perf seront eux aussi pas les meme. Le comportement d'une carte (marque) à l'autre varie beaucoup en fonction de ces paramètres, justement à cause de la différence d'architecture que tu cites...

[radeon4ever]

Lu sur le dernier test de clubic sur la HD X2 : "Nouveau venu dans notre protocole, Enemy Territory : Quake Wars est ici testé dans sa version 1.4 avec une démo de notre cru."

Je te trouverai d'autres protocoles de test perso dans le genre  Sans compter les différences de réglage dans chaque jeu (AA, Anisotrope, activé dans les drivers, activés dans le jeu...) ou chacun fait ce qu'il veut.

Pour la différence de 3DMark, encore une fois elle est parfaitement normale : 6,6% d'écart de fréquence CPU pour un écart de score de 7,7%, pour moi il y a pas scandale quand on sait que le 3DMark06 est CPU dépendant... au final, à fréquence égale, on serait à moins d'1 pourcent de perf de différence 

Encore une fois, pour moi il faut comparer ce qui est comparable : soit une meme carte entre 2 sites sur un bench ou un script intégré : soit des écarts de perfs entre cartes graphiques, entre sites... le reste c'est de la spéculation hasardeuse...

Trouvons donc de vrais écarts entre configs identiques, benchs identiques (et identiquement réglés), et là je commencerai à trouver une critique objective à ces sites.

je n'ai JAMAIS parlé d'ennemy territory quake wars mais de FEAR, HL² Crysis et pro street ... et les différences que j'ai cité, c'était sans filtres donc tout a fait comparable !!! La seule et unique chose qui diffère, c'est que GEN3D a un CPU qui fait 200MHz de plus, MatBE possède de la DDR3 1333 au lieu de la DDR2 1066 et clubic a de la DDR2 et le proc a 3GHz, c'est uniquement la seule différence. J'ai bien étudié tous les tests avant de poster msx, quant à 3Dmark, je veux bien l'admettre malgré que j'ai du mal quand meme a le croire totalement ...
Concernant 3Dmark :

[radeon4ever]

malheureusement, tu regardes les autres sites et quand tu vois les config utilisées, la ils utilisent des config plus courantes comme des E6550 ou encore des X6800 qui sont juste a 2.93GHz donc des core 2 duo de tout le monde ...

[flo]

Nan mais là, c'est un autre débat Flo  Là, on se demande pas pourquoi telle carte est meilleure qu'une autre, d'ATI ou Nvidia, on se demande juste si les sites pro bidouillent leurs tests en faveur d'une marque ou d'une autre... C'est à dire modifient les résultats des benchs sciemment...

Et pour l'instant, pas de preuve probante à mon sens  Car comparer des résultats d'une meme carte, sur 2 sites, mais sur des phases d'un meme jeu probablement différentes, voir paramétrages différents, c'est pas probant 

Seul le pourcentage de perf pour ce meme jeu pour 2 cartes différentes, et ce sur 2 sites, peut etre comparé. Bien que dans l'absolu on suppose que seuls les scripts soient différents ; car si les paramétrages du jeu, la définition, antialiasing and co sont pas les meme sur chaque site, les pourcentages d'écart de perf seront eux aussi pas les meme. Le comportement d'une carte (marque) à l'autre varie beaucoup en fonction de ces paramètres, justement à cause de la différence d'architecture que tu cites...

Non tout ce que je dis n'est pas un autre débat. C'est de la CAUSE A EFFET!
Oui, pour les paramétrages. Cependant, qu'importe la résolution. Ici c'est TOUJOURS la même histoire LA CAUSE : SHADERS vs TEXTURING L'EFFET : Résultats différents pour les sites
Pour moi tous les sites ne sont pas mauvais, simplement, ils ne se posent pas beaucoup de questions avant de faire leurs protocoles de tests, ce qui fait qu'en définitive, ils vont favoriser un camp ou l'autre.

[msxfan]

Lu sur le dernier test de clubic sur la HD X2 : "Nouveau venu dans notre protocole, Enemy Territory : Quake Wars est ici testé dans sa version 1.4 avec une démo de notre cru."

Je te trouverai d'autres protocoles de test perso dans le genre  Sans compter les différences de réglage dans chaque jeu (AA, Anisotrope, activé dans les drivers, activés dans le jeu...) ou chacun fait ce qu'il veut.

Pour la différence de 3DMark, encore une fois elle est parfaitement normale : 6,6% d'écart de fréquence CPU pour un écart de score de 7,7%, pour moi il y a pas scandale quand on sait que le 3DMark06 est CPU dépendant... au final, à fréquence égale, on serait à moins d'1 pourcent de perf de différence 

Encore une fois, pour moi il faut comparer ce qui est comparable : soit une meme carte entre 2 sites sur un bench ou un script intégré : soit des écarts de perfs entre cartes graphiques, entre sites... le reste c'est de la spéculation hasardeuse...

Trouvons donc de vrais écarts entre configs identiques, benchs identiques (et identiquement réglés), et là je commencerai à trouver une critique objective à ces sites.

je n'ai JAMAIS parlé d'ennemy territory quake wars mais de FEAR, HL² Crysis et pro street ... et les différences que j'ai cité, c'était sans filtres donc tout a fait comparable !!! La seule et unique chose qui diffère, c'est que GEN3D a un CPU qui fait 200MHz de plus, MatBE possède de la DDR3 1333 au lieu de la DDR2 1066 et clubic a de la DDR2 et le proc a 3GHz, c'est uniquement la seule différence. J'ai bien étudié tous les tests avant de poster msx, quant à 3Dmark, je veux bien l'admettre malgré que j'ai du mal quand meme a le croire totalement ...
Concernant 3Dmark :

Oui tu n'a pas parlé d'ennemy territory, mais la phrase qu'ils utilisent est assez flagrante des différences qui peuvent exister d'un test à l'autre.

Bon sinon prenons le cas de Crysis : en gros une différence de 1 fps max entre tous les tests, soit 4% d'écart entre les 3 sites : pas de quoi casser des pattes à un canard... pour moi, tous les sites donnent les memes résultats.

Prenons un autre cas, qui lui présente des différences de performances plus importantes : FEAR. C'est le premier que j'ai regardé en détail. Alors là, je souris : tout d'abord, G3D parle de "FEAR Perseus Mandate", qui est un add on de FEAR. Est-ce le meme FEAR utilisé que Clubic et Matbe ? Ces derniers parlent du patch V1.08, qui est normalement un patch du FEAR premier du nom. Donc déjà, on compare pas exactement le meme jeu, et pas la meme démo.

Ensuite, G3D parle d'une définition de 1280*960, alors que les autres sites parlent de 1280*1024. Erreur de ces 2 autres sites, ou réglages particuliers permettant le 1024 ?

Ensuite, Matbe indique : "les bugs des ombres dites douces avec l’anti-aliasing empêchent que l’on s’en serve. Et ce malgré de nombreux patchs, nous en sommes à la version 1.08. Cette option sera d’ailleurs la seule à être désactivée au fil de nos tests. Tous les détails sont poussés au maximum, y compris le filtre anisotrope en 16x". G3D indique cependant 0xAA et 0xAF. Tiens bizarre : donc le filtrage AF n'est pas le meme, et l'activation des effets est très probablement différent puisqu'un site indique déactiver les ombres douces (gourmande option, de mémoire...). Clubic pour sa part n'indique rien, donc on n'en sait rien, on ne peut donc les comparer à aucun des 2 autres sites.

On continue les remarques sur les autres jeux ? Je l'ai pas fait pour etre honnete j'ai pas eu le temps, mais rien que l'analyse de ce premier jeu est édifiante, et si pour toi les conditions de test sont identiques... je sais plus quoi dire.

[msxfan]

Nan mais là, c'est un autre débat Flo  Là, on se demande pas pourquoi telle carte est meilleure qu'une autre, d'ATI ou Nvidia, on se demande juste si les sites pro bidouillent leurs tests en faveur d'une marque ou d'une autre... C'est à dire modifient les résultats des benchs sciemment...

Et pour l'instant, pas de preuve probante à mon sens  Car comparer des résultats d'une meme carte, sur 2 sites, mais sur des phases d'un meme jeu probablement différentes, voir paramétrages différents, c'est pas probant 

Seul le pourcentage de perf pour ce meme jeu pour 2 cartes différentes, et ce sur 2 sites, peut etre comparé. Bien que dans l'absolu on suppose que seuls les scripts soient différents ; car si les paramétrages du jeu, la définition, antialiasing and co sont pas les meme sur chaque site, les pourcentages d'écart de perf seront eux aussi pas les meme. Le comportement d'une carte (marque) à l'autre varie beaucoup en fonction de ces paramètres, justement à cause de la différence d'architecture que tu cites...

Non tout ce que je dis n'est pas un autre débat. C'est de la CAUSE A EFFET!
Oui, pour les paramétrages. Cependant, qu'importe la résolution. Ici c'est TOUJOURS la même histoire LA CAUSE : SHADERS vs TEXTURING L'EFFET : Résultats différents pour les sites
Pour moi tous les sites ne sont pas mauvais, simplement, ils ne se posent pas beaucoup de questions avant de faire leurs protocoles de tests, ce qui fait qu'en définitive, ils vont favoriser un camp ou l'autre.

La question qu'on se pose est juste : a-t-on déjà vu 2 sites pro qui testent le meme bench (ou jeu) sur la meme configuration, dans les memes conditions de paramétrage du programme de test en question, et qui affichent des résultats si différents que ca en semble suspect ?

Pour l'instant pour moi, c'est plutot non, jusqu'à ce qu'on me prouve le contraire. Car depuis le début je pense que les conditions d'utilisation des jeux n'est pas la meme d'un site à l'autre, ou rarement. Donc les résultats sont souvent pas comparables. Seuls les benchs le sont ; et encore, parfois certains réglages sont différents malgré tout d'un site à l'autre...

La question que tu poses, c'est plutot : comment choisir les benchs ou jeux en fonction des cartes testées. Mais c'est une autre question. C'est sur que si tu sélectionnes que des jeux qui utilisent de l'openGL sur une carte graphique qui les gèrent mal, alors qu'elle gère carrément mieux le D3D, ca c'est du parti pris... c'est pas forcément du mensonge sur les résultats, c'est juste du test orienté...

[radeon4ever]

Nan mais là, c'est un autre débat Flo  Là, on se demande pas pourquoi telle carte est meilleure qu'une autre, d'ATI ou Nvidia, on se demande juste si les sites pro bidouillent leurs tests en faveur d'une marque ou d'une autre... C'est à dire modifient les résultats des benchs sciemment...

Et pour l'instant, pas de preuve probante à mon sens  Car comparer des résultats d'une meme carte, sur 2 sites, mais sur des phases d'un meme jeu probablement différentes, voir paramétrages différents, c'est pas probant 

Seul le pourcentage de perf pour ce meme jeu pour 2 cartes différentes, et ce sur 2 sites, peut etre comparé. Bien que dans l'absolu on suppose que seuls les scripts soient différents ; car si les paramétrages du jeu, la définition, antialiasing and co sont pas les meme sur chaque site, les pourcentages d'écart de perf seront eux aussi pas les meme. Le comportement d'une carte (marque) à l'autre varie beaucoup en fonction de ces paramètres, justement à cause de la différence d'architecture que tu cites...

Non tout ce que je dis n'est pas un autre débat. C'est de la CAUSE A EFFET!
Oui, pour les paramétrages. Cependant, qu'importe la résolution. Ici c'est TOUJOURS la même histoire LA CAUSE : SHADERS vs TEXTURING L'EFFET : Résultats différents pour les sites
Pour moi tous les sites ne sont pas mauvais, simplement, ils ne se posent pas beaucoup de questions avant de faire leurs protocoles de tests, ce qui fait qu'en définitive, ils vont favoriser un camp ou l'autre.

bah oui et non, ici les jeux utilisés sont exactement les memes et les cartes aussi donc shader vs texturing, ca change rien, les résultats doivent se ressembler.

[msxfan]

Nan mais là, c'est un autre débat Flo  Là, on se demande pas pourquoi telle carte est meilleure qu'une autre, d'ATI ou Nvidia, on se demande juste si les sites pro bidouillent leurs tests en faveur d'une marque ou d'une autre... C'est à dire modifient les résultats des benchs sciemment...

Et pour l'instant, pas de preuve probante à mon sens  Car comparer des résultats d'une meme carte, sur 2 sites, mais sur des phases d'un meme jeu probablement différentes, voir paramétrages différents, c'est pas probant 

Seul le pourcentage de perf pour ce meme jeu pour 2 cartes différentes, et ce sur 2 sites, peut etre comparé. Bien que dans l'absolu on suppose que seuls les scripts soient différents ; car si les paramétrages du jeu, la définition, antialiasing and co sont pas les meme sur chaque site, les pourcentages d'écart de perf seront eux aussi pas les meme. Le comportement d'une carte (marque) à l'autre varie beaucoup en fonction de ces paramètres, justement à cause de la différence d'architecture que tu cites...

Non tout ce que je dis n'est pas un autre débat. C'est de la CAUSE A EFFET!
Oui, pour les paramétrages. Cependant, qu'importe la résolution. Ici c'est TOUJOURS la même histoire LA CAUSE : SHADERS vs TEXTURING L'EFFET : Résultats différents pour les sites
Pour moi tous les sites ne sont pas mauvais, simplement, ils ne se posent pas beaucoup de questions avant de faire leurs protocoles de tests, ce qui fait qu'en définitive, ils vont favoriser un camp ou l'autre.

bah oui et non, ici les jeux utilisés sont exactement les memes et les cartes aussi donc shader vs texturing, ca change rien, les résultats doivent se ressembler.

+ 1 

@R4E : si j'insiste autant sur tout ca, c'est pas pour t'embeter, c'est pour faire avancer le débat ; car on entend dire si souvent que les sites pro sont corrompus, incompétents, etc... que si c'était vrai, ce serait très inquiétant. Trouvons des faits graves s'il y en a ; et évitons alors ces sites ; et s'il y en a pas, lisons plus sereinement leurs tests (meme s'ils sont incomplets, etc...) parce que c'est vrai que ce serait source de stress que de savoir que ces tests fournissent des résultats trafiqués.