Wo ist denn das Problem?
Es wurden unendlich viele Tests gemacht mit genormten Farbtafeln, unter Laborbedingungen. Außerdem kann man Abweichungen eben auch untersuchen.
Das Umkehren des Bildes ist kein willkürlicher Akt unseres individuellen Hirnes, sondern eine physiologische Einrichtung, die Du auch testmäßig ändern kannst: Personen erhielten Brillen, die von vornherein umgekehrte Bilder produzierten. Nach einer gewissen Anpassungszeit gewöhnten sich die Personen an die veränderte Aufnahme.
Gerade die Wahrnehmung (sie beschreibt alle optischen Prozesse, die beteiligt sind, Umweltreize zu strukturieren und zu interpretieren) ist ein besonders gut erforschtes Gebiet.
Es gibt sogar - um mal wieder zu den Farben zu kommen - das Phänomen der Farbkonstanz. Das heißt: Du nimmst die Banane immer als gelb wahr, selbst wenn sie auf unterschiedlich farbigen Untergründen bei unterschiedlicher Beleuchtung objektiv gar nicht mehr gelb aussieht. (Deshalb sind Fotos manchmal befremdlich, weil eine Kamera diesen internen Ausgleich nicht kennt.)
Unsere Wahrnehmung ist eben eine Kombination aus angeborenen Fähigkeiten und Erfahrung.
Eine normierte Farbe unter Testbedingungen nehmen wir allerdings gleich wahr.