Wieso hört es sich so merkwürdig an, wenn man Kopfhörer nur zur Hälfte eingesteckt hat?

Spannende Frage!
Die Antwort ist nicht so trivial.

Es ist auch nicht bei allen Buchsen und Steckern genau gleich.
Aber dein Effekt / deine Konstellation kommt hie und da vor:

• Die Musik ist ja stereo, Kanal 1 und 2 (links L und rechts R). Ein Pol der beiden Lautsprecherleitungen ist gemeinsam, dem sagt man Ground oder Masse.
• Orchester/Bands sind in stereo aufgenommen, um den Raumklang zu bekommen. L + R haben also zum grossen Teil unterschiedliche Signale.
• Anders der Gesang. Da Lead-Sängerinnen oder -Sänger meist allein sind und der Mund an genau einem Ort ist, wird Gesang auch nur mit einem Mikrofon aufgenommen. Er ist also eigentlich mono, ohne Raumklang (ausser bei Chören oder wenn man die Bewegung des Sängers hörbar machen möchte). Nach der Abmischung ist der Gesang also links und rechts identisch.
• Hier der Versuch einer Veranschaulichung (Amplitudenspektrum L + R), wie man es in Soundbearbeitungsprogrammen sieht; Musik ist meist unterschiedlich links und rechts:

• Nun zum Stereo-Klinkenstecker und Buchse: da sind die drei Kontakte. Zuerst getrennt aufgezeichnet:

Und hier zusammengesteckt mit den beiden Lautsprechern des Kopfhörers und den internen Verbindungen der Lautsprecher zu den Steckerkontakten:

• Nun kann es eben je nach Konstruktion der Stecker und Buchsen oder der Art des Halb-Einsteckens folgende Fälle geben. Häufig ist, dass du auf beiden Ohren nur den einen Kanal bekommst (meist rechts); Ground des Steckers liegt frei. Links und rechts haben dann nicht mehr je eine separate Quelle. Sondern L + R sind elektrisch in Reihe geschaltet und bekommen das Gleiche, und zwar gegenphasig statt gleichphasig wie im Normalfall.
• Je nach Mischung der Tonquelle fehlen dann Instrumente, und sie wirken flacher, Raumklang fehlt, auch der Gesang kann wegen der Gegenphasigkeit auf beiden Ohren anders wirken:

• Seltener, aber am krassesten ist es dann, wenn nur Ground fehlt, aber L + R weiterhin beide zu L + R Kontakt machen: dann hörst du zwar ebenfalls nur mono, also auf beiden Hörern das gleiche. Aber ersten ebenfalls mono und zweitens nur das Differenz-Signal, also das, worin sich die beiden Kanäle unterscheiden. Alles, was in der Quelle exakt symmetisch aufgenommen wurde, verschwindet vollständig! (Da es aber fast nie exakt symmetrisch ist, hört man es immer noch, einfach viel leiser.)