Visuel vs auditif

[jean-séb]

J'aimerais poser la question suivante : lorsque vous écoutez un enregistrement par exemple historique d'un ou d'une pianiste que vous n'avez jamais vus jouer ni en live ni dans un film ou documentaire, n'avez-vous pas l'impression d'avoir une représentation mentale du geste pianistique qui produit ce que vous entendez, au moment même où vous l'écoutez? une vision intérieure de la main, le bras, l'avant-bras, l'énergie, le corps tout entier, la distribution du poids, la qualité de l'attaque, le type de contact avec les touches, etc. et cette représentation n'est-elle pas une "image"?

je n'éprouve rien de tout cela. Quand j'entends du piano à la radio ou sur CD, je ne m'imagine pas du tout le pianiste qui est derrière (d'ailleurs je suis très mauvais dans le jeu : reconnaissez le pianiste). La musique est pour moi purement abstraite, détachée de toute réalité concrète et d'intermédiaire. Je ne suis d'ailleurs pas très exigeant non plus sur le son ; pas besoin d'une super chaîne, je peux entendre la musique sur un vieux transistor crachotant.

[JPS1827]

Je ne suis d'ailleurs pas très exigeant non plus sur le son ; pas besoin d'une super chaîne, je peux entendre la musique sur un vieux transistor crachotant.

Pour moi c'est exactement pareil.

[pianojar]

Je ne suis d'ailleurs pas très exigeant non plus sur le son ; pas besoin d'une super chaîne, je peux entendre la musique sur un vieux transistor crachotant.

Pour moi c'est exactement pareil.

Idem
Et c'est bien pratique car cela me permet d'écouter beaucoup de musique en des lieux très différents avec des sources diverses

[Okay]

6 s - ça veut dire 6 secondes. Les extraits à évaluer pour deviner qui gagnait duraient 6 secondes. 6 secondes d'audio, 6 secondes de vidéo, ou 6 secondes d'audio-vidéo. Elle a fait une sélection très élaborée pour réduire les biais (je ne cite pas tout), mais sur des extraits de 6 secondes. Je suis renversée - d'autant qu'elle est elle-même musicienne.

Personnellement, si je dois faire cet exercice sur la base d'extraits aussi courts, je considère que je choisis au hasard. En tout cas c'est sur un élan inconscient, intuitif, sans savoir trop pourquoi. En aucun cas je ne jugerais de l'intérêt d'un disque, par exemple, sur la base d'un extrait de 6 secondes. Par contre, je peux imaginer qu'il soit plus facile de trouver plus d'information pertinente dans un extrait visuel de 6 secondes qu'à l'audition d'un extrait sonore de 6 secondes.

En effet, je n''avais pas tiqué sur le temps de six secondes. Ca parait en effet d'une incroyable brièveté, et on peut parler de biais méthodologique pour pouvoir apprécier une interprétation... mais...
je reconnais me faire parfois une opinion assez définitive d'une version ou d'une interprétation en quelques notes, pour un extrait vraiment très bien choisi, et il se peut que cela ne dure guère beaucoup plus qu'une poignée de secondes. Dans le cadre des expériences de l'article, on ne cherche pas à faire "aussi bien" qu'un jury, mais arriver à battre un lancer de dé ! Certes, je reconnais que 6 secondes est une durée qui est dans l'absolu extrêmement courte, qu'on peut qualifier de quasi-incitation à aller chercher des éléments extra-musicaux... sauf que faire ça semble tout de même rapprocher les prédictions des résultats réels, tranchés par un jury qui a tout écouté en live...

P.S. Ceci dit, je ne suis même pas certaine que les résultats rapportés soient fiables. J'ai été étonnée que PNAS, une revue de très haut niveau, ait accepté de publier un article qui ne donne pas suffisamment de détails sur certains aspects essentiels de la méthodologie (Comment exactement a-t-on sélectionné les extraits ? A-t-on utilisé une procédure à l'aveugle pour éviter les biais ?) et dont les analyses statistiques sont mal faites (pour ceux qui s'y connaissent, l'auteur fait des tests paramétriques sur des pourcentages, ce qui est incorrect; cela ne veut pas dire que ses résultats seraient obligatoirement différents si les analyses avaient été faites correctement sur des fréquences, mais cela rend les résultats présentés non fiables).

Je ne comprends pas ton objection sur les fréquences. En quoi ces pourcentages ne sont pas des fréquences ? Est-ce un problème de référentiel ?
Je comprends que l'auteure utilise un simple test du khi-deux pour déterminer si les pourcentages obtenus sont statistiquement significatifs, comparés à un pourcentage de référence (a priori le hasard : 1/3, 1/3, 1/3). En revanche la taille de l'échantillon varie plus ou moins selon les expériences, ce qui introduit aussi potentiellement un autre biais, sachant que l'ordre de grandeur est seulement n = 100-200.

[Virgule]

Je ne comprends pas ton objection sur les fréquences. En quoi ces pourcentages ne sont pas des fréquences ? Est-ce un problème de référentiel ?
Je comprends que l'auteure utilise un simple test du khi-deux pour déterminer si les pourcentages obtenus sont statistiquement significatifs, comparés à un pourcentage de référence (a priori le hasard : 1/3, 1/3, 1/3). En revanche la taille de l'échantillon varie plus ou moins selon les expériences, ce qui introduit aussi potentiellement un autre biais, sachant que l'ordre de grandeur est seulement n = 100-200.

(Encore un pavé... - bon courage.)
Je ne vais pas tenter de t’en faire la démonstration - que j’ai déjà faite à mes élèves il y a 30 ans en fabriquant un exemple et en analysant ses données brutes sous leurs yeux, c’est très convainquant - mais mes neurones ont vieilli, je n’en ai plus la force… il me faudrait trop d’effort et de temps. Mais en gros:
1) quand on convertit des fréquences en % (un no-no absolu avec le khi-2), on biaise la perception des écarts et des différences; on gonfle les différences quand les n sont inférieurs à 100 (et ils le sont dans plusieurs de ses tests, même beaucoup dans les expériences avec des experts) et on donne un poids égal aux différents scores (sujets) quand les nombres d’essais peuvent être très différents (par ex un sujet peut avoir donné 20 réponses et un autre seulement 14, parce qu’on a dû éliminer certains de ses essais - ce qui est arrivé quand un sujet reconnaissait un participant dans l’une des compétitions).
2) les pourcentages, comme tous les ratios d’ailleurs, affectent négativement la distribution des scores, parce que des scores très différents peuvent donner exactement le même ratio; par exemple, un sujet peut avoir eu 5 bonnes réponses sur 10 essais, un autre 7 sur 14, etc. et les % donnent un poids égal à tous les scores, alors qu’en principe plus le n d'essais est élevé, plus le score est fiable. Si par exemple tu veux tester la normalité de la distribution des scores, tu biaises ton test en le faisant sur des % puisqu’un même pourcentage peut représenter des scores différents. Si tu fais un test t sur les moyennes des % aussi. Essaie de te fabriquer un exemple de scores fictifs (qui soient des ratios) et fais des tests, tu verras vite.

La façon non biaisée de calculer une moyenne sur une série de ratios est d’additionner séparément les numérateurs et les dénominateurs des ratios pour avoir un ratio 'somme des numérateurs/somme des dénominateurs', puis de diviser ce ratio par le nombre d’observations indépendantes (n de sujets, par exemple). Je n’ai rien vu dans l’article qui indique que l’auteur ait calculé ainsi ses moyennes. Ceci dit, c’est malheureusement une erreur très répandue dans la littérature scientifique.

Mais l'auteure a-t-elle vraiment fait des tests statistiques sur des % ?

J’ai cherché en vain une description explicite de ce qui constituait la variable dépendante dans le corps de l'article. Finalement, ce n’est qu’à la toute fin de la section d’info sup, en note en bas de page de son tableau récapitulatif des tests stat, que je trouve le ‘détail’ (!) recherché… comme si c’était un détail secondaire !
Voici la note:
Several SI experiments included χ2-based significance testing because analyses were conducted on individual trials (two trials or competitions were tested in the earlier studies). As the initial exploratory studies, analyses were conducted on each separate trial, resulting in nominal data of whether or not the actual winner was selected by participants. The main experiments included t tests because analyses were conducted on average identification rates (%) across 10 trials per participant.
Remarquez qu'on ne sait toujours pas si elle a calculé cette moyenne de la bonne façon, mais même là, elle a fait les tests t sur des %. J’ai écrit plus haut que cette pratique ne rend pas automatiquement ses tests non valides - je veux dire que les résultats seraient possiblement très semblables si elles les avait fait correctement. C’est en particulier vrai pour les cas où les n sont supérieurs à 100. Mais ça m’agace...

Ceci dit, il y a bien d’autres choses qui m’agacent dans ce papier - principalement le manque d’info précise sur sa méthodologie. Or, dans toute cette histoire, c’est l’élément clé. Un commentaire qu’elle fait dans l’un de ces petits paragraphes qu’on trouve dans les SI (chercher ‘coders’) me confirme que les tests n’ont pas été faits en aveugle, un élément primordial dans toute expérience menée avec des humains. En fait on n’a aucune description des conditions expérimentales (cadre physique, installation, qui est présent etc). On ignore où se trouvait l’expérimentatrice par exemple et si les sujets la voyaient. Encore une fois, si ces objections jettent un doute sur ses résultats, ça ne veut pas automatiquement dire qu’ils sont erronés. Cependant, je ne trouve pas qu’ils permettent de tirer des conclusions sur la manière dont les jurys évaluent les candidats lors de compétitions.

Perso, je n’ai aucun doute que le visuel affecte ma perception de la performance d’un musicien (mais en 6 secondes ? ça dépend desquelles !). Je ne dirais pas que c’est dommage, je dirais que c’est normal. Il faut juste en être conscient. Il m’est arrivé de fermer les yeux à un concert pour me concentrer sur l’audio, justement parce que je m’apercevais que le visuel nuisait à mon écoute. On a le choix de le faire - et les juges de compétitions ont aussi le choix de le faire, on voit d’ailleurs que certains le font. Mais doit-on le faire ? C'est une vraie question. Le public des concerts voit le pianiste, après tout... C'est peut-être notre préjugé qui est mauvais, selon lequel seule la musique devrait compter !

[Virgule]

je reconnais me faire parfois une opinion assez définitive d'une version ou d'une interprétation en quelques notes, pour un extrait vraiment très bien choisi, et il se peut que cela ne dure guère beaucoup plus qu'une poignée de secondes. Dans le cadre des expériences de l'article, on ne cherche pas à faire "aussi bien" qu'un jury, mais arriver à battre un lancer de dé ! Certes, je reconnais que 6 secondes est une durée qui est dans l'absolu extrêmement courte, qu'on peut qualifier de quasi-incitation à aller chercher des éléments extra-musicaux... sauf que faire ça semble tout de même rapprocher les prédictions des résultats réels, tranchés par un jury qui a tout écouté en live...

Tu n’es pas d’accord avec mon objection concernant la durée des extraits, ça peut se discuter. C'est vrai qu'après tout cette durée semble quand même avoir permis d'identifier les gagnants plus souvent qu'au hasard-et c'est troublant. Je me souviens d’avoir lu un commentaire fait par un expert juge de compétitions (Beroff peut-être) qui disait qu’il savait très rapidement à quoi s’en tenir avec un candidat, dès les premières minutes (secondes ?). Ça m’avait choquée, car pour moi ça veut surtout dire qu’il se fait très vite son idée et ne la change plus ensuite. Je refuse de faire de même, mais je suis incapable d'écouter plus de 2, limite 3 candidats en ligne quand je suis une compétition sur le web.

À propos des compétitions, j’ai trouvé dans l’article quelque chose qui mérite réflexion:

This nuanced interpretation of the findings suggests that not only does visual information impact our perception of music, but also that it can dominate our perception such that it interferes with auditory information. This explanation may help account for why it appears that experts receiving video-plus-sound excerpts in the current experiments have decreased rates of identifying the winners.

This area needs further investigation in future work, but preliminary data appear to support the interpretation offered above. Data from ongoing research indicate that, when placed under cognitive load, participants in the video-plus-sound condition— for the first time—identify the winners at rates significantly above chance. In natural evaluation settings such as music competitions, perhaps a visual primacy emerges as our attention is exhausted and we become less able to focus on using sound as the primary information. The ongoing research suggests that we may revert to a dependence on visual information when overwhelmed with information. (p.1 des SI 2 derniers paragraphes complets).

[arg]

Merci pour ces analyses poussées de l'article dont j'avais entendu parler il y a quelques mois.
Je ne m'y connais pas du tout en statistiques, je suis facilement convaincue par les exemples de Virgule, et je vais retenir alors ce qui pour moi est significatif.
Le rôle du langage visuel émotionnel (et, dans un éclairage plus fin, la relation émotion/mouvement) se trouve une fois de plus confirmé. En être conscient est en effet primordial car penser que notre jugement peut être neutre, détaché des apparences, purement musical et esthétique, est quand même une grande illusion ! Je suis aussi très étonnée par le temps si court d'audition de 6 secondes: on est probablement plus lent auditivement pour reconnaitre les émotions que visuellement (je n'ai pas fait de recherches mais il est possible qu'on puisse trouver des articles sur le sujet...).
Je me représente aussi les gestes musicaux lorsque j'écoute de la musique, et en particulier du piano dont je connais la gestuelle. Je suis surprise de lire ceux qui connaissent bien l'instrument, et qui pourtant n'ont pas cette représentation avec une musique "abstraite".
C'est très intéressant et cela dépend peut-être de nos préférences/dominances sensorielles ? Ceux qui ont une représentation précise du geste seraient plus visuels ?