Visuel vs auditif

[Okay]

Je ne savais pas dans quel sujet poster, car nous avons souvent abordé ce thème. En revanche je n’avais jamais vu passer cet article de 2012, qui a néanmoins peut-être déjà été mentionné.

http://www.pnas.org/content/110/36/14580

La conclusion de l’étude est simple. Les auteurs démontrent qu’un individu lambda est capable de mieux prédire que le hasard, le succès dans un concours sur la base d’une video muette. Tandis qu’à partir du son seul ou de la vidéo avec le son, ni les profanes ni les professionnels ne parviennent à réaliser ces prédictions de manière aussi fiable.
Je trouve ça tout de même assez édifiant, mais pas si surprenant... qu’on le veuille ou non, le visuel est extrêmement important, autant dans nos impressions quotidiennes, que dans l’appréciation de la musique, pourtant l’art des sons dans le temps...

[Lee]

Ça me dit quelque chose, on a parlé du vidéo ou un similaire, je crois. Je ne retrouve pas le fil, pas grave.

Alors pourquoi autant de résistance contre les paravents? Parce qu'on a peur de qui sortirait de derrière comme gagnante !

[leLama]

Merci pour le partage. Que de nombreux parametres non auditifs interviennent dans le jugement du son n'est pas inattendu. Mais que le visuel soit significativement plus important que le son pour deviner le résultat d'un concours de musique m'a surpris !

A posteriori, on peut proposer l'explication suivante. Les niveaux des candidats sont vraiment tres proches sur le plan du son pur et donc les facteurs secondaires deviennent discriminants. Si le niveau des candidats est tres different, il est possible que les conclusions soient differentes. Pour être concret, Okay, si on fait un concours de piano tous les deux, les auditeurs pourront facilement préférer ton jeu sur une base purement auditive

Ca pose aussi la question des compositeurs qui sont passés a la posterité. Sur la musique comme critere principal, ou compositeurs tres proches les uns des autres et différenciés par des facteurs secondaires ?

Ca rejoint aussi les questionnements sur les pianos et les blind tests de la rubrique "instruments". Qu'est ce qui nous touche le plus dans un piano ? Le son ? Ou le toucher ? Ou l'esthétique du meuble ? C'est sûr en tout cas que toutes les informations se mélangent dans notre cerveau et que c'est pour ça aussi que les blind tests purement auditifs sont souvent cruels !

[sergueiSLES]

Effectivement le langage corporel peut dire beaucoup sur le degré d.assurance, mais aussi de passion, d’un concurrent.
Il est possible que lorsqu’ils choisissent parmi des candidats de très haut niveau les juges soient « détournés «  d’un jugement strictement musical par ces indices visuels, ce qui permet à des novices d’arriver au même choix qu’eux.
Ce type de biais dans le traitement de l’information a déjà été écrit dans de nombreuses situations. Je me souviens d’un article où les sujets parvenaient à prédire le résultat d’une négociation entre 2 personnes sur une bande vidéo muette. Vous avez sûrement entendu parler de ces 2 expériences sur le vin. Dans l’une, des vins moyens présentés dans des bouteilles prestigieuses recevaient de bien meilleures évaluations que lorsqu’ils étaient présentés sous leurs étiquettes réelles. Dans l’autre, des vins blancs étaient teintés artificiellement en rouge ( avec des colorants sans aucun goût ou odeur). On demandait à des experts de décrire les caractéristiques de ces vins, sans les avertir de la supercherie. Une majorité a utilisé des termes réservés aux vins rouges (cassis, mûres fruits rouges ...) pour décrire ces blancs colorés. Les mêmes vins présentés sous leur couleur normale étaient décrits « comme des blancs »
Alors oui, ces résultats qui paraissent surprenants peuvent se comprendre..
Ce qui est préoccupant, c’est que les jurys puissent se laisser davantage guider par la gestuelle que par la valeur musicale intrinsèque. Lorsqu’on connaît la fréquence des désaccords entre juges sur les résultas des concours, on peut comprendre que le consensus puisse plus facilement s’appuyer sur ces indices visuels.

[passagère]

Ah oui c'est franchement surprenant!
Je n'aurais jamais cru que le visuel puisse intervenir à ce point sur l'appréciation du jeu d'un pianiste (ou autre instrumentiste).
Bien que,en y réfléchissant,on évalue quand-même beaucoup de choses (et de personnes ) sur leur apparence,ce qu'on perçoit en premier...

[Oupsi]

J'aimerais poser la question suivante : lorsque vous écoutez un enregistrement par exemple historique d'un ou d'une pianiste que vous n'avez jamais vus jouer ni en live ni dans un film ou documentaire, n'avez-vous pas l'impression d'avoir une représentation mentale du geste pianistique qui produit ce que vous entendez, au moment même où vous l'écoutez? une vision intérieure de la main, le bras, l'avant-bras, l'énergie, le corps tout entier, la distribution du poids, la qualité de l'attaque, le type de contact avec les touches, etc. et cette représentation n'est-elle pas une "image"?

[Lee]

Moi non, du tout ! Mais probablement le jury d'un concours du piano, oui. Ici il s'agit des gens lambda je crois ?

[Okay]

Les personnes participant à cette étude sont réparties en différents groupes, certains sont tout à fait novices et d'autres sont des musiciens professionnels, qui sont tour à tour sollicités selon les expériences présentées.

Ayant désormais lu l'article en détail, il y a tout de même un petit point méthodologique qui mériterait peut-être un raffinement. Ils utilisent les résultats de 10 concours internationaux de premier plan, mais tout se base sur l'ordre du tiercé formé par les trois premiers. Or, c'est clairement là qu'on trouvera toujours le plus de controverse ! Il aurait peut-être fallu prendre un candidat éliminé au 1er tour, un au 2d tour et un finaliste, afin de contrôler un peu plus le paramètre "subjectivité musicale".

Ceci étant dit, on serait à un pas de conclure que si les musiciens professionnels sont tout aussi incapables d'identifier le tiercé dans l'ordre que les groupes de novices, et que tout le monde y parvient bien mieux lorsqu'on coupe le son, le podium du "vrai" jury s'expliquerait significativement par des éléments strictement visuels...

J'aimerais poser la question suivante : lorsque vous écoutez un enregistrement par exemple historique d'un ou d'une pianiste que vous n'avez jamais vus jouer ni en live ni dans un film ou documentaire, n'avez-vous pas l'impression d'avoir une représentation mentale du geste pianistique qui produit ce que vous entendez, au moment même où vous l'écoutez? une vision intérieure de la main, le bras, l'avant-bras, l'énergie, le corps tout entier, la distribution du poids, la qualité de l'attaque, le type de contact avec les touches, etc. et cette représentation n'est-elle pas une "image"?

Bien souvent si, totalement même. Surtout si la prise de son est plutôt naturelle.

Mais l'article pousse un peu plus loin, se demandant quels type d'élément visuel est le plus déterminant. Et il se trouve, d'après l'auteur, qu'il ne s'agirait pas d'éléments démographiques tels que le sexe, l'age ou le physique "statique" des candidats. Au contraire, l'aspect déterminant serait le langage non verbal "dynamique", qui communique de l'émotion.
Pour la dernière expérience de l'article, on demande à un groupe de participants de dire pour chaque "tiercé" quel candidat est le plus confiant, créatif, impliqué, motivé, passionné, ou singulier. Il se trouve que la corrélation la plus forte avec les résultats des vrais jurys est obtenue avec "le candidat le plus passionné"... Identifier ce candidat sur une vidéo muette donne de bien meilleures prédictions que l'écoute. On peut donc conclure que traduire cet état par le langage non verbal peut introduire un biais significatif auprès d'un jury ou d'un public...

De là à dire qu'on recompense les plus grands comédiens, j'en doute fort. En revanche, je ne serais pas si surpris qu'un musicien ayant une attitude authentiquement passionnée puisse bénéficier d'une sorte de prime extra-musicale biaisant l'écoute.

[Presto]

Non du tout aussi pour moi, il faut déjà une connaissance pointue de l'instrument je pense.
Sinon je renverserais bien la proposition, peut-être que le visuel traduit aussi une présence qui ne peut que s'entendre aussi car finalement ce qui compte c'est le bonhomme. Je dois reconnaître que lorsque j'écoute un pianiste sur ytube dans un concours, je suis dans un premier temps bien influencé par le visuel, sa posture, son aisance, le rapport qu'il entretient avec son instrument... Ensuite ça concorde ou pas, il peut y avoir des ajustements, voire des contradictions, l'exemple type serait Gould, extravagant visuellement alors que l'entendre redonne du sens à ce que je vois. Pour rester dans les concours, LD ne m'impressionnait absolument pas visuellement, je ne lui aurais pas donné une chance, et pourtant … une fois écouté !
edit, je réponds à ton message sans commenter l'article.

[coignet]

Lorsque j'étais adolescent au conservatoire il y avait dans ma classe deux filles, la plus sérieuse à la musicalité la plus affirmée étant systématiquement moins bien classée aux concours que l'autre, en raison de son caractère introverti. "Manque de présence sur scène" avait justifié un membre du jury devant la colère de mon prof à l'annonce du classement. Je ne sais pas ce qu'il en est aujourd'hui mais il avait alors raconté qu'à Londres les candidats jouaient anonymement derrière un rideau.

[leLama]

Ayant désormais lu l'article en détail, il y a tout de même un petit point méthodologique qui mériterait peut-être un raffinement. Ils utilisent les résultats de 10 concours internationaux de premier plan, mais tout se base sur l'ordre du tiercé formé par les trois premiers.

Oui, je trouve aussi que ca fait un biais methodologique de leur etude.

Imaginons par exemple qu'on cherche a savoir si les personnes choisissent un meuble plutot en fonction du prix ou de la noblesse des materiaux ( bois plutot que plastique par exemple). Si on presente aux personnes des meubles qui sont tres proches en prix, la difference se fera sur les materiaux et on dira que les materiaux sont determinants. Si on presente des meubles avec des materiaux a peu pres identiques, la difference se fera sur le prix et on dira que le prix est determinant. Donc on peut avoir la conclusion qu'on veut sur l'importance relative des facteurs suivant la façon dont on calibre le test.

C'est ce type de phenomene qui intervient d'apres moi dans l'étude. Qu'est ce qui est plus important, le visuel ou l'auditif ? Les participants qui ont essayé de trouver le vainqueur sur une base musicale n'ont pas fait mieux que le hasard. C'est a dire que les musiciens ne sont pas hierarchisables par la qualité de leur musique. Donc Si on ne peut discriminer les candidats sur une base auditive, alors on discrimine mieux sur une base visuelle. Si on avait chois des candidats a la gestuelle similaire mais aux competences musicales tres differentes, on aurait eu la conclusion inverse qui dirait que le son est plus important que la gestuelle.

De ce point de vue, l'information la plus interessante de l'etude est peut etre simplement qu'on ne peut pas distinguer les candidats par la qualité de leur musique.

[Oupsi]

Le sens de ma question était de réfléchir à ce qu'on entend par visuel ou visible. Si un son peut provoquer en nous la formation intérieure d'une image, ça veut bien dire que ce qui est proprement visuel et auditif dans une appréciation esthétique (mais je m'éloigne un peu du "jugement social" de l'article) n'est pas si facile que ça à distinguer. Si on entend la chorégraphie gestuelle d'une phrase musicale cela veut dire qu'une notion d'espace et de mouvement, purement subjective et recréée par l'auditeur est générée à chaque fois par l'émotion musicale, avec plus ou moins de précision selon l'individu.
On peut chercher des mots pour désigner cela, mais je trouve que le langage tombe souvent à côté .

[pianojar]

Les musiciens d'un orchestre d'une certaine manière entendent la chorégraphie gestuelle du chef (?)
Pas facile de faire un concours de direction d'orchestre derrière un paravent

[JPS1827]

Et il faut rappeler que quand c'est une femme qui joue, son jeu est toujours trouvé plus poétique et moins précis, selon une autre étude où la même bande son est synchronisée avec plusieurs vidéos différentes. On peut épargner désormais les oreilles des jurys en faisant jouer les concurrents sur des claviers muets, c'est chouette...
Blague à part je ne suis pas d'accord avec Oupsi. Il y a beaucoup de pianistes que je n'ai jamais entendu en live, et dont je n'avais entendu que des enregistrements sans jamais voir aucune vidéo avant l'ère de youtube, et je dois dire que j'ai été souvent très surpris en découvrant l'aspect visuel de leur jeu (Inversement, tous ceux que j'ai vus jouer autrefois m'ont paru "les mêmes" sur des vidéos visionnées plusieurs dizaines d'années plus tard), comme si ma représentation mentale du geste en fonction du son entendu était systématiquement erronée.

[Virgule]

Je ne savais pas dans quel sujet poster, car nous avons souvent abordé ce thème. En revanche je n’avais jamais vu passer cet article de 2012, qui a néanmoins peut-être déjà été mentionné.
http://www.pnas.org/content/110/36/14580
La conclusion de l’étude est simple. Les auteurs démontrent qu’un individu lambda est capable de mieux prédire que le hasard, le succès dans un concours sur la base d’une video muette. Tandis qu’à partir du son seul ou de la vidéo avec le son, ni les profanes ni les professionnels ne parviennent à réaliser ces prédictions de manière aussi fiable.
Je trouve ça tout de même assez édifiant, mais pas si surprenant... qu’on le veuille ou non, le visuel est extrêmement important, autant dans nos impressions quotidiennes, que dans l’appréciation de la musique, pourtant l’art des sons dans le temps...

Ça me dit quelque chose, on a parlé du vidéo ou un similaire, je crois. Je ne retrouve pas le fil, pas grave.

En 2013, fil de Sanne Les musiciens se jugent avec les yeux ...
viewtopic.php?f=1&t=13422&hilit=Discove ... ne#p211139
Egalement discuté brièvement sur le fil du Concours Chopin de 2015, où JPS avait redonné les liens.

Je retrouve sur mon ordi une analyse que j'avais écrite en septembre 2015 (avant de rejoindre PM), après être tombée par hasard sur l'article de PNAS et l'avoir lu très attentivement. Je voulais ensuite en parler sur PM et j'ai découvert alors qu'il avait déjà été discuté. Les premiers commentaires de 2013 sont intéressants. Il y a aussi plusieurs commentaires très intéressants sur le présent fil.

J'avais non seulement lu l'article en détails en 2015, mais aussi, soigneusement décortiqué sa méthodologie et l'analyse des données (tous les détails sont disponibles en libre accès). C'est un article énorme, avec plein d'annexes, qui rapporte les résultats de toute une série d'expériences successives qui chacune vise à découper plus en détails les résultats obtenus dans l'expérience précédente. Il est très facile de s'y perdre et j'ai encore aujourd'hui eu du mal à y retrouver l'élément essentiel que je voulais souligner ici, même en sachant ce que je cherchais ! (Okay ne l'a pas relevé comme biais méthodologique, j'en conclus qu'il lui a échappé.)

Voici un extrait de ce que j'avais noté:

In fine, l'auteure (elle-même pianiste formée à Juilliard) a pu vérifier que l'effet du visuel seul agissait même lorsqu'elle remplaçait la vidéo originale par une version modifiée où ne subsistaient que les contours du corps. Les indices visuels disponibles dans cette version simplifiée des vidéos concernaient le mouvement, pas l'apparence physique ni même l'expression faciale des pianistes. L'auteure avait auparavant vérifié l'influence de ce dernier facteur: aucun effet significatif, ce qui m'a étonnée. Par contre, les vidéos simplifiées ne révélant que le mouvement ont, eux, permis aux sujets d'avoir un meilleur succès dans leurs devinettes que le choix au hasard ou que le choix sur l'extrait sonore seul.

Ce sont donc les gestes qui ont compté.

MAIS...

Lisez bien cet extrait de la méthologie de l'article (en haut de la page 3 des SI):

Excerpts. The length of 6 s was chosen based on the previous literature using thin slices (2). The excerpts were selected based on several criteria: (i) if the finalists performed the same composition during the last round of competition, identical excerpts were selected from each contestant; (ii) if the finalists performed different compositions, excerpts were selected such that the excerpts showcased approximately equal technical difficulty and musical intensity.

6 s - ça veut dire 6 secondes. Les extraits à évaluer pour deviner qui gagnait duraient 6 secondes. 6 secondes d'audio, 6 secondes de vidéo, ou 6 secondes d'audio-vidéo. Elle a fait une sélection très élaborée pour réduire les biais (je ne cite pas tout), mais sur des extraits de 6 secondes. Je suis renversée - d'autant qu'elle est elle-même musicienne.

Personnellement, si je dois faire cet exercice sur la base d'extraits aussi courts, je considère que je choisis au hasard. En tout cas c'est sur un élan inconscient, intuitif, sans savoir trop pourquoi. En aucun cas je ne jugerais de l'intérêt d'un disque, par exemple, sur la base d'un extrait de 6 secondes. Par contre, je peux imaginer qu'il soit plus facile de trouver plus d'information pertinente dans un extrait visuel de 6 secondes qu'à l'audition d'un extrait sonore de 6 secondes. Pourquoi? Parce que la lecture des gestes humains fait appel à des capacités neuro-psychologiques humaines plus fondamentales que l'écoute du son d'une pièce de piano. L'humain a depuis des millénaires la capacité d'analyser très finement toute information qui a rapport à la communication interpersonnelle, à tous les niveaux. Le visuel y participe de façon fondamentale et nous avons une capacité phénoménale à décoder le sens des expressions et des mouvements, des gestes de nos congénères. Idem pour le sonore, en autant que la voix humaine soit concernée. Pas pour le son du piano. On utilise souvent, quand on décrit le jeu des pianistes, des termes comme 'implication', 'élan', 'prise de risque', 'retenue', 'réserve'... - et je pense qu'il y a des gestes pianistiques qu'on peut associer à ces concepts.

En conclusion, on ne peut absolument pas généraliser les conclusions de l'article à une situation de concours avec juges - ou de concert. Les conclusions ne concernent que la situation très pointue (et artificielle) des expériences: comparer les 3 finalistes les mieux classés par les juges (sans aucun doute sur d'autres critères) sur la base d'extraits de 6 secondes. Si on doit deviner qui a gagné sur la base d'un extrait de 6 secondes, la vidéo seule donne de meilleurs indices. La vidéo avec l'audio donne de moins bons résultats parce qu'en entendant le piano, on cherche à évaluer l'audio (parce qu'on se dit qu'après tout c'est ça qui doit compter) et on se fie moins à la vidéo. Mais 6 secondes d'audio, c'est, soyons modestes, très insuffisant pour juger une interprétation .

P.S. Ceci dit, je ne suis même pas certaine que les résultats rapportés soient fiables. J'ai été étonnée que PNAS, une revue de très haut niveau, ait accepté de publier un article qui ne donne pas suffisamment de détails sur certains aspects essentiels de la méthodologie (Comment exactement a-t-on sélectionné les extraits ? A-t-on utilisé une procédure à l'aveugle pour éviter les biais ?) et dont les analyses statistiques sont mal faites (pour ceux qui s'y connaissent, l'auteur fait des tests paramétriques sur des pourcentages, ce qui est incorrect; cela ne veut pas dire que ses résultats seraient obligatoirement différents si les analyses avaient été faites correctement sur des fréquences, mais cela rend les résultats présentés non fiables).

[Virgule]

(Inversement, tous ceux que j'ai vus jouer autrefois m'ont paru "les mêmes" sur des vidéos visionnées plusieurs dizaines d'années plus tard), comme si ma représentation mentale du geste en fonction du son entendu était systématiquement erronée.

JPS, je ne comprends pas ce que tu veux dire ici. Qu'entends-tu par 'm'ont paru "les mêmes"? Je comprends qu'en les voyant sur YT tu reconnais les gestes que tu avais vus autrefois en live - mais alors la fin de ta phrase ne fait pas sens ?

[Virgule]

Le sens de ma question était de réfléchir à ce qu'on entend par visuel ou visible. Si un son peut provoquer en nous la formation intérieure d'une image, ça veut bien dire que ce qui est proprement visuel et auditif dans une appréciation esthétique (mais je m'éloigne un peu du "jugement social" de l'article) n'est pas si facile que ça à distinguer. Si on entend la chorégraphie gestuelle d'une phrase musicale cela veut dire qu'une notion d'espace et de mouvement, purement subjective et recréée par l'auditeur est générée à chaque fois par l'émotion musicale, avec plus ou moins de précision selon l'individu.
On peut chercher des mots pour désigner cela, mais je trouve que le langage tombe souvent à côté .

J'aime beaucoup cette idée de chorégraphie gestuelle d'une phrase musicale. Oui je pense qu'un son peut provoquer en nous la formation intérieure d'une image, qu'une interprétation peut suggérer l'image d'un geste ou d'une série de gestes - ça m'arrive souvent, mais pas 'à chaque fois'. Il se pourrait même qu'à l'écoute (d'un disque) je sois particulièrement séduite justement par ces interprétations qui font naître ces chorégraphies dans mon esprit. Par contre, c'est imaginaire, c'est une chorégraphie personnelle; je ne m'attends pas du tout à ce que l'interprète que j'écoute fasse justement ces gestes quand je le vois jouer et ne serais pas du tout choquée qu'il fasse tout autre chose.

[Lee]

Bravo Virgule pour avoir décortiqué le détail qui tue ! Clairement 6 secondes n'est rien pour l'audio.

Et il se trouve, d'après l'auteur, qu'il ne s'agirait pas d'éléments démographiques tels que le sexe, l'age ou le physique "statique" des candidats. Au contraire, l'aspect déterminant serait le langage non verbal "dynamique", qui communique de l'émotion.

Il me semble que ces affirmations sont impossibles de prouver, simplement les conclusions qu'elle a tiré. En plus, ça ira à l'encontre d'autres études
(http://gap.hks.harvard.edu/orchestratin ... -musicians) et simplement les faits : les auditions à l'aveugle ont augmenté le nombre des femmes dans les orchestres par 25-55%.

Puisque aucun concours de piano (ou de ma connaissance) n'a essayé de faire que le jury juge à l'aveugle, on ne peut pas dire que le piano soit différent que les faits dans les orchestres, on peut plutôt extrapoler qu'au piano ça sera le même : on aurait 25-50% plus de femmes dans les finals des concours si c'était à l'aveugle.

[Oupsi]

Le fait qu'une représentation mentale soit erronée (étant, comme je l'ai dit, subjective et créée par l'auditeur à chaque fois) ne veut pas dire qu'elle ne participe pas à l'émotion esthétique; inversement, le fait qu'une représentation soit "objective" ne veut pas dire qu'elle est déterminante pour l'émotion esthétique, parfois même elle peut faire barrière.

[JPS1827]

(Inversement, tous ceux que j'ai vus jouer autrefois m'ont paru "les mêmes" sur des vidéos visionnées plusieurs dizaines d'années plus tard), comme si ma représentation mentale du geste en fonction du son entendu était systématiquement erronée.

JPS, je ne comprends pas ce que tu veux dire ici. Qu'entends-tu par 'm'ont paru "les mêmes"? Je comprends qu'en les voyant sur YT tu reconnais les gestes que tu avais vus autrefois en live - mais alors la fin de ta phrase ne fait pas sens ?

Tu n'as pas coupé ma phrase au bon endroit, j'ai écrit :

et je dois dire que j'ai été souvent très surpris en découvrant l'aspect visuel de leur jeu (Inversement, tous ceux que j'ai vus jouer autrefois m'ont paru "les mêmes" sur des vidéos visionnées plusieurs dizaines d'années plus tard), comme si ma représentation mentale du geste en fonction du son entendu était systématiquement erronée.

avec des parenthèses. Effectivement j'ai bien reconnu le jeu de ceux que j'avais entendus en concert, alors que j'ai été très surpris par la façon de jouer de ceux dont je n'avait entendu que de l'audio (à part peut-être pour Cziffra, que je n'ai malheureusement jamais entendu en concert et dont le jeu correspond à peu près à l'idée que j'avais pu m'en faire)