Vergleich beider Algorithmen PESQ und POLQA

In der Praxis benötigt man für eine PESQ- oder POLQA-Messung eines 8 Sekunden langen Referenzsignals die Übertragungszeit plus die Verarbeitungszeiten, was sich auf 1 Minute ausdehnen könnte. Um die Messzeiten zu reduzieren, bedient man sich eines Software-Tools, das die Berechnungen numerisch durchführt. Die folgende Skizze zeigt das Blockschaltbild dieses Werkzeugs.

Nachfolgend wird der grundsätzliche Programmablauf dargestellt, mit dem, in realen Systemumgebungen, die jeweiligen Messverfahren miteinander verglichen werden:

• zuerst wird eine Referenzdatei (analoges Sprachsignal) geladen.
• dieses Signal wird in Einklang mit dem verwendeten Codec (beispielsweise G.711, GSM, etc.) codiert.
• die kodierten Digitaldaten werden entsprechend der gewählten Größe des Sprach-Samples segmentiert und in RTP (Real-Time Transport Protocol)- Paketen verpackt.
• der Baustein „Error“ generiert das gewünschte Maß an Beeinträchtigungen (Fehlern) im Netzwerk.
• die empfangenen Pakete werden zunächst im Jitter-Buffer zwischengespeichert und anschließend so bearbeitet, dass in Übereinstimmung mit der Norm ITU-T G.113 die zeitlichen Funktionen angepasst werden.
• die paketierten Sprach-Samples werden entsprechend dem genutzten Sprach-Codec decodiert.
• schließlich werden die Sprachdaten und die Sprachreferenzdatei geladen und an den PESQ- oder POLQA-Algorithmus weitergeleitet.
• zum Abschluss erfolgt die Berechnung der entsprechenden PESQ- oder POLQA-Messwerte.

Detailvergleich der beiden Messalgorithmen

PESQ vs. POLQ beim Einsatz im Schmalbandbereich Die folgenden Parameter werden für ordnungsgemäße Analysen vorausgesetzt:

• nichtdeterministische (Binomialverteilung) Verteilung der Paketverluste im Bereich von 0 bis 20 Prozent.
• nichtdeterministische (Exponentialverteilung) Verteilung der Burst-Größe mit einem Mittelwert von 1.
• 8-kHz-Signal (Schmalband-Modus)
• 48-kHz-Signal (Superbreitband-Modus)
• Schmalband-Codec G.711.1 mit einer Bitrate von 80 Kbit/s (Mode R2a) und Sample-Längen von 10, 20 und 30 ms.
• 31 Messungen für jeden Performance-Wert. Auf diese Weise ist es möglich, ein Konfidenzintervall von weniger als 10 Prozent des geschätzten Durchschnitts (mit einer Fehlerwahrscheinlichkeit von 5 Prozent) zu erreichen
• QoS-Werte auf der MOS-LQO Skala.
• „Silence Insertion“-Methode in Fällen von aufgetretenen Paketverlusten.

Exemplarische Ergebnisse für das Messszenario

Die folgenden Abbildungen 1 bis 3 zeigen die Ergebnisse für das erste Messszenario. Die QoS-Kurven entwickeln sich exponentiell. In Fall von Superbreitband-POLQA fallen die Signalflanken steiler ab und erreichen den niedrigen MOS-Wert von ca. 1. Alle drei Algorithmen bestätigen die Qualität des R2a Modus (ca. 4,4 MOS). Auch ist auffällig, dass der Superbreitband-POLQA Modus sensitiver in Bezug auf die Sample Längen reagiert als die anderen Algorithmen. Jedoch liefern alle drei Techniken im Großen und Ganzen vergleichbare Ergebnisse und eignen sich gleichermaßen für die Bewertung QoS im Schmalband-Bereich. Abbildung 1 MOS-LQO Werte ermittelt von Schmalband-PESQ als Funktion der Paketverluste und Länge der Messprobe für den Codec G.711.1 R2a Abbildung 2 MOS-LQO Werte ermittelt von Schmalband-POLQA als Funktion der Paketverluste und Länge der Messprobe für den Codec G.711.1 R2a Abbildung 3 MOS-LQO Werte ermittelt von Superbreitband-POLQA als Funktion der Paketverluste und Länge der Messprobe für den Codec G.711.1 R2a Die QoS-Kurven weisen ebenfalls einen exponentiellen Charakter auf. Beide Algorithmen bestätigen die sehr gute Qualität des R2b-Modus (Breitband-PESQ: MOS ca. 4,0, und Superbreitband-POLQA: MOS ca. 4,4). Der Unterschied von 0,4 MOS ergibt sich aus der Umwandlung der oben dargestellten Formeln (1) und (2), und dem Versuch, die POLQA ermittelten Schmal- und Breitband-Signale in einem einzigen Maßstab darzustellen. Auch hier wird deutlich sichtbar, dass Superbreitband-POLQA sensitiver als Breitband-PESQ auf Probenlänge reagiert. Im Großen und Ganzen jedoch ergeben beide Algorithmen vergleichbare Ergebnisse und eignen sich gleichermaßen für die Bewertung QoS in Breitband-Umgebungen.

Effekte der Pegel

PESQ ist nahezu unempfindlich gegen Niveauunterschiede zwischen dem Referenz und dem abgeschwächten Empfangssignal. Außerdem werden die Wahrnehmungs-Effekte der Niveauunterschiede bei PESQ oft unterschätzt. Beide Faktoren wurden bei POLQA korrigiert und die Effekte entsprechen somit den subjektiven Hörtests.

Hierzu müssen einige Regeln beachtet werden, damit korrekte Ergebnisse erzielt werden:

• POLQA geht strikt davon aus, dass die Referenzsignale über einen aktiven Sprachpegel von – 26dBov (gemessen nach P.56) verfügen und dieser mit einem nominalen Pegel von 73dB SPL im Bezugspunkt für beide Ohren im Super-Breitband-Modus und 79dB SPL im Bezugspunkt eines Ohres im Schmalband-Modus bereit steht.
• In Super-Breitband-Modus müssen die reduzierten Signale zur Validierung mit POLQA einen aktiven Pegelbereich zwischen – 21dBov bis -46dBov aufweisen. Nur dann arbeitet POLQA zuverlässig. Ein Pegelniveau von -26dBov repräsentiert die ideale Normallautstärke.
• Im Schmalband-Modus sollte das verminderte Signal ebenfalls 26dBov entsprechen.

Es ist zu beachten, dass das häufig verwendete, zur Referenzmessung genutzte „Cool Edit Pro“ Werkzeug nicht gemäß P.56 misst und deshalb die daraus resultierenden Messwerte um bis zu 3 dB variieren können.

Schmalband – Breitband – Super-Breitband

Bei PESQ gibt es nur zwei Betriebsarten

• Schmalband (300 – 3400 Hz) und
• Breitband (100 – 7000 Hz)

Für POLQA sind ebenfalls zwei Modi definiert. Diese decken jedoch den Schmalband und den Super-Breitband- (50 -14000 Hz) Bereich ab. Dadurch entsteht eine Überschneidung zwischen PESQ und POLQA im Schmalbandbereich, aber im Breitband- und Super-Breitband-Bereich gibt es bei PESQ keine direkte Entsprechung.

Unterschiedliche Voraussetzungen der individuellen Schmalband-, Breitband- und Super-Breitband-Modi

Aufgrund der genutzten Algorithmen liefern PESQ und POLQA im Schmalband zwar in der Regel ähnliche Ergebnisse, ein direkter Vergleich sollte aber vermieden werden. Der Breitbandmodus von PESQ wird vollständig vom POLQA Super-Breitband-Modus ersetzt. In der Konsequenz heißt dies für die korrekte Anwendung von POLQA für Breitband-Szenarien: Es müssen immer die Super-Breitband-Referenz-Dateien für die Tests verwendet werden. Die dadurch erreichbaren Ergebnisse werden im Gegensatz zum Breitband-Modus von PESQ auf einem anderen Bereich der MOS-Skala abgebildet. Dies hat seine Ursache in den unterschiedlichen Voraussetzungen der individuellen Schmalband-, Breitband- und Super-Breitband-Modi und der daraus resultierenden unterschiedlichen Abbildung auf der MOS-Skala. Bei der Entwicklung des POLQA-Algorithmus wurde darauf geachtet, dass eine Messung mit POLQA unter typischen Breitband-Bedingungen einen ähnlichen Wertebereich (Maximalwert 4,5) ergibt, wie Messungen von PESQ im Breitband-Bereich. Zum direkten Vergleich zwischen PESQ- und POLQA-Ergebnisse muss eine Transformationsskala angewendet werden. Dabei werden die POLQA-Werte an den anderen Kontext (Breitband vs. Super Breitband) angepasst.

MOS-Wertebereiche

Die Tabelle 1 zeigt die Grenzen der MOS Skala bei PESQ (P.862.1/2) und bei POLQA in Abhängigkeit von der jeweiligen Betriebsart und des eingesetzten Algorithmus. Dabei ist zu beachten, dass es keine Überschneidungen für den Breitband und den Super Breitband-Modus gibt. Im Super Breitband-Modus wird POLQA bei einem ausgezeichneten Breitbandsignal im Vergleich zu einem Super Breitband-Referenzsignal einen Messwert von ca. 4,5 liefern. In gleicher Weise wird ein perfektes Schmalbandsignal im Vergleich zu einem entsprechenden Super Breitband- Referenzsignal einen MOS-Wert von ca. 4,0 ermitteln. PESQ ist sehr unempfindlich gegenüber linearen Verzerrungen des Frequenzgangs. Diese hatten jedoch nur Auswirkungen auf die Messergebnisse in Extrembereichen. Mit POLQA wurde dieser Problembereich behoben und die Verzerrungen entsprechen jetzt der menschlichen Wahrnehmung. PESQ ist sehr tolerant gegenüber falschen Aufnahmepegeln. Dagegen sorgt POLQA für die genaue Einhaltung der Pegel. PESQ reagiert auch sehr empfindlich auf Taktunterschiede zwischen D/A- und A/D-Wandler im Übertragungspfad. Dies führt in der Praxis oft zu schlechteren Messergebnissen. POLQA dagegen ist in der Lage, solche Probleme zu korrigieren bzw. zu kompensieren.

Zusammenfassung und Ausblick

Die neue ITU-T Recommendation P.863 „POLQA“ stellt ein Technologie-Update für den Standard P.862 „PESQ“ da und verbessert die Qualität einer Ende-zu-Ende Messung im VoIP-Bereich signifikant. Da POLQA die gleichen Skalen und Bewertungsmechanismen wie PESQ benutzt, sind die jeweiligen Messergebnisse miteinander vergleichbar. Somit lassen sich ältere PESQ-Messreihen auf Basis von neueren POLQA-Messreihen fortsetzen. Die Messprodukte der Nextragen GmbH unterstützen beide Messverfahren und können deshalb in jeder VoIP-Umgebung eingesetzt werden.