TopWare 18: Liquid/Image.iso/liquid/top2062/deutsch.txt

Text File | 1993-02-22 | 22KB | 402 lines

Windows Grafik-Benchmarks -- Probleme und Lösungen
16. Februar 1993

Wir wollen hier ein Problem beleuchten, das in der letzten Zeit im
Grafikkarten-Markt aufgetreten ist: die Zuverlässigkeit von WinBench,
einem wichtigen Test zur Beurteilung der Leistung von Windows-Beschleunigern,
ist erheblich in Zweifel gezogen worden, dadurch  daß Hersteller die
Testergebnisse durch Treiber-Manipulationen künstlich nach oben verändern
können.

Die Entwickler des WinBench-Tests, Ziff-Davis, haben das Problem erkannt
und arbeiten bereits an einer neuen Version von WinBench. Es gibt jedoch
immer noch viele Anwender, die weiterhin den Winbench-Test als einziges
Meßinstrument der Leistungsfähigkeit für Windows-Grafik verwenden. Wir
werden im folgenden alternative Benchmark-Tests vorstellen, von denen jeder
als Teil einer umfassenden und aussagekräftigeren Abfolge verschiedenster
Tests eingesetzt werden sollte, auch wenn die neue WinBench-Version verfügbar
ist.

Das Problem mit WinBench entstand, als ein Grafikkarten-Hersteller einen Weg
entdeckt hatte, seinen Windows-Treiber so zu schreiben, daß der Treiber die
Testergebnisse künstlich "aufbläst", ohne jedoch eine entsprechende
Leistungssteigerung in "Real-World"-Anwendungen zu bewirken. Die derzeit
verfügbaren Versionen von WinBench lassen diese Manipulationen zu, denn der
Test ist größtenteils ein Wiederholungstest und kein Zufallstest. Durch
diese Besonderheit waren die Entwickler in der Lage, maximale Punktzahlen bei
den Testergebnissen zu erzielen, indem sie die Grafik-Treiber so programmiert
haben, wiederholte Aufrufe für die gleiche Operation  einfach zu ignorieren.
Dazu kommt, daß auch Bitmaps, Muster (Patterns) und Text-Strings "gecached"
werden können, um die WinBench-Ergebnisse drastisch zu steigern, ohne daß
dabei auch die Performance in den tatsächlichen Anwendungen erhöht wird.

Das Marktumfeld für Hersteller von Grafikkarten ist durch starken Wettbewerb
geprägt. Deshalb sind die Hersteller ständig bemüht, ihre Produkte
weiterzuentwickeln um einen Wettbewerbsvorteil zu erzielen. Als Folge der
starken Betonung durch die Grafikkarten-Industrie ist der Grafik-WINMARK zu
einer wichtigen Waffe im Marketingkrieg der Grafikkarten geworden. Wie
vorauszusehen, sind "Benchmark-bewußte" Treiber mit künstlich hochgetriebenen
WINMARK-Punkten mittlerweile ein verbreitetes Phänomen. Das Problem liegt nun
darin, daß die Anwender die Leistungsfähigkeit in Real-World-Applikationen
auf der Basis von WINMARK-Ergebnissen nicht mehr zuverlässig vorausschätzen
können.

Zur Bewertung der Windows Grafik-Performance empfehlen wir bei Hercules den
Anwendern, sowohl die Applikationen, mit denen sie arbeiten wollen als auch
zwei andere einfache Benchmark-Tests, WinTach und Speedy, zu verwenden. Diese
beiden Tests werden wir später noch erläutern. Nach ausgiebigen Untersuchungen
der Methoden, mit denen Display-Treiber "Benchmark-bewußt" gemacht werden, ist
Ziff-Davis nun dabei, den WinBench zu ⁿberarbeiten. Die neue Version, V.3.11,
soll den Techniken, die eingesetzt werden um die älteren Versionen von
WinBench (V.2.5 und V.3.1) künstlich aufzumöbeln, nun einen deutlichen Strich
durch die Rechnung machen. Wir bei Hercules begrüßen es, daß diese neue
Test-Version bald verfügbar ist, und wir wünschen uns, diesen Test als ein
zuverlässiges Meßinstrument für Grafik-Performance empfehlen zu können.


Alternativen zu WinBench

WinTach und Speedy unterscheiden sich von WinBench, denn sie konzentrieren
sich nicht auf das Testen von sich unmittelbar wiederholenden Befehlen. Die
derzeit aktuellen Versionen von WinBench zeichnen z.B. eine Linie mehrfach
hintereinander an derselben Stelle auf den Bildschirm, um so die
Geschwindigkeit beim Linienzeichnen zu messen. Speedy und WinTach dagegen
führen in einer länger andauernden Abfolge eine Vielzahl völlig
unterschiedlicher Befehle aus. Dadurch wird es für die Entwickler von
Software-Treibern weit schwieriger, die Treiber an die Besonderheiten des
Tests anzupassen und so zu "stricken", daß die Ergebnisse künstlich
hochgetrieben werden.

Wenn es darum geht, die Grafik-Performance von Grafikkarten zu beurteilen,
ist es für den Anwender immer besser, so viele verschiedene Tests wie möglich
durchzuführen. Denn jeder Test deckt einen anderen Bereich ab und basiert in
seinen Eigenheiten auf dem ganz speziellen Standpunkt des jeweiligen
Entwicklers. Um nun ein repräsentatives Bild zu erhalten, sollte der Anwender
so viele durchdacht gestaltete Hilfsmittel wie möglich verwenden. Sowohl
WinTach als auch Speedy sind frei erhältlich und ermöglichen es Ihnen, in
Ihren eigenen Systemen die Performance zu messen.


Verwendung von Benchmark-Tests

Um genaue Meßwerte der Leistungsfähigkeit zu erhalten ist es ganz besonders
wichtig, verschiedene Geräte in derselben oder einer identischen Konfiguration
zu testen. So sollten z.B. die Ergebnisse aus einem Test, der in der Auflösung
1024 x 768 in 256 Farben durchgeführt wurde, nicht mit den Ergebnissen
verglichen werden, die bei 640 x 480 in 256 Farben erzielt wurden. Auch dürfen
Tests, die auf unterschiedlichen CPU-Plattformen gelaufen sind (z.B. 386/25
und 486/33) nicht miteinander verglichen werden, es sei denn, der Vergleich
der Performance von Ähnlich konfigurierten Rechnern ist Gegenstand des Tests.
Dabei darf auch die Farbtiefe nicht übersehen werden: der Vergleich von 1024
x 768 in 16,7 Millionen Farben mit der Arbeitsweise im Modus 1024 x 768 in
nur 256 Farben ist nur dann sinnvoll, wenn genau die relativen Performance-
Unterschiede in diesen beiden Farbtiefen ermittelt werden sollen. Der Anwender
sei hier ausdrücklich darauf hingewiesen, darauf zu achten, daß nur "Äpfel mit
Äpfeln" verglichen werden - es sei denn, es ist ausdrückliches Ziel, einen
"Äpfel mit Birnen"-Vergleich durchzuführen.

Auch die Bildwiederholraten (Refresh-Raten oder Bildfrequenzen) müssen bei
der Grafik-Performance Berücksichtigung finden: obwohl qualitative Faktoren
wie die Bildstabilität und -intensität sich nicht in Benchmark-Punkten
niederschlagen, haben sie doch einen erheblichen Einfluß auf die Praxis des
Anwenders. In sehr vielen Fällen führt eine Erhöhung der Bildfrequenz zu
einem drastischen Absinken der Grafik-Benchmarks. Ganz besonders deutlich
wird das bei DRAM-Boards. Wenn Sie zwei Geräte miteinander vergleichen, von
denen das eine mit 80 Hz arbeitet während das andere mit 60 Hz Refresh läuft,
werden Sie den Unterschied deutlich erkennen.

Wenn Sie ein Testergebnis beschreiben, sollten Sie sehr sorgfältig alle
Informationen dokumentieren, die sicherstellen, daß Sie Ihre Ergebnisse mit
anderen Auswertungen zuverlässig vergleichen können. Die Dokumentation der
Testergebnisse sollte so aussehen: "Grafik-Beschleuniger X lieferte ein
Benchmark-Ergebnis von Y bei der Auflösung von 1024 x 768 im 256-Farben-Modus
(Large Fonts) und 72 Hz Bildfrequenz in einem 486/33-ISA-Bus Computer mit
8 MB System-Speicher." Es gibt oftmals auch andere Variablen, die Einfluß auf
die Performance haben. Das ist z. B. Cache-Memory oder die Anwesenheit von
ATM, die Frage, ob das System von einem Netzwerk aus läuft, der Grad der
Platten-Fragmentierung und viele andere Faktoren. Wenn immer es möglich ist,
sollten Sie exakt dasselbe System verwenden, um verschiedene Geräte zu testen.
Nur so können Sie die Zahl der Einflußgrößen reduzieren, die bei
verschiedenen Systemen zu Abweichungen führen können.


Beschreibung der Testverfahren

WinTach

WinTach wurde 1992 von Texas Instruments entwickelt. Die WinTach-Entwickler
stellten einen Querschnitt aus vier typischen Arten von Windows-Anwendungen
her, um die API(Application Programming Interface)-Aufrufe zu charakterisieren,
die für diese Programme typisch sind. WinTach kombiniert diese API-Aufrufe
mit Real-World-Programm-Logik und simuliert so die Performance des getesteten
Windows-Systems in den vier Applikationen:

Textverarbeitung
Im Mittelpunkt der Anwendungen steht die Gestaltung von Textdokumenten mit
einer Vielzahl von Schrifttypen, Stilen und Formatierungsoptionen. Obwohl der
größte Teil der Zeit, während der mit einem Textverarbeitungsprogramm
gearbeitet wird, auf die Texteingabe entfällt, ist für das wiederholte
Neuzeichnen großer Textmengen und für das Scrollen (oder Blättern) durch die
Seiten eine hohe Grafikleistung erforderlich.

CAD/Zeichnen
Bei diesen Anwendungen geht es um die Gestaltung von Technischen Zeichnungen
oder Illustrationen. Die Rechenleistung des Computers wird eingesetzt, um eine
große Zahl von gezeichneten Objekten zu manipulieren und zu speichern. Während
der größte Teil der Zeit in einer Zeichen-Applikation damit zugebracht wird,
die Zeichnungselemente einzugeben, wird eine sehr hohe Grafik-Performance
insbesondere dann benötigt, wenn die Zeichnung regeneriert, im Maßstab
verändert oder gescrollt werden muß.

Tabellenkalkulation
In diesen Anwendungen werden tabellarische Daten verarbeitet. Ein Großteil
der Zeit dient zur Eingabe der Daten, die Hauptanforderung an Grafikleistung
liegt im Scrollen durch große Tabellen. Die Darstellung der numerischen Daten
in Form von Grafiken stellt zusätzliche Anforderungen an die Grafikfähigkeit.

Malen
Die Anwendungen drehen sich um die Gestaltung und Manipulation von Grafiken
und Bildern, die als Bildpunkte definiert sind (Bitmap) - nicht als Vektoren.
Die Farbtiefe ist die wichtigste Bestimmungsgröße der Bildqualität, es kommt
jedoch bei der Manipulation der Bilder auch eine Vielzahl grafischer
Primitiven zum Einsatz. Weitverbreitete Operationen sind das Zeichnen von
Linien, Rechtecken und Flächenfüllen sowie Freihandzeichnen mit
unterschiedlichen Pinselarten.

Bei der Ausführung bewertet WinTach das Grafiksystem und stellt die
Ergebnisse als "RPM" dar, das bedeutet "Relative Performance Measurement".
Dieser RPM-Index wird individuell für jede einzelne Anwendung berechnet, er
zeigt jeweils die Leistung des Systems in genau dieser Klasse von Anwendungen.
Zusätzlich wird ein Overall-RPM-Index ermittelt, um die Leistungsfähigkeit
über alle Anwendungsarten hinweg auszudrücken. (Die Berechnung des
Overall-RPM erfolgt als einfacher Durchschnittswert der individuellen
Anwendungs-Indizes.) Der RPM-Index ist so skaliert, daß sowohl die Auflösung
als auch die Farbtiefe der Test-Konfiguration im Ergebnis berücksichtigt
werden. Das Programm selbst enthält die umfassende Erklärung der
RPM-Berechnung. Diese Erklärung findet sich im "WinTach Overview" unter
dem Titel "Calculation of the WinTach RPM Index", anzuwählen vom Hilfe-Menü
des Programms aus. Mit Hilfe des RPM-Index kann der Anwender die
Grafik-Performance von verschiedenen Windows-Workstations oder Grafikkarten
leicht miteinander vergleichen.

WinTach liefert eine eingehende on-line-Erklärung, in der die spezifischen
Windows-GDI-Aufrufe der vier Anwendungs-Benchmarks aufgeschlüsselt werden,
gelistet nach der Häufigkeit der Aufrufe.

Da Texas Instruments, Entwickler der TMS340 Grafik-Prozessor-Familie, auch
den WinTach entworfen hat, gab es den Vorwurf, der Test sei an sich schon
unausgewogen und bevorteile TIs eigene Grafikprozessoren. Wir haben diese
Einseitigkeit des Tests nicht feststellen können. Die Hercules Produktlinie
beinhaltet sowohl Grafikkarten, die auf TMS 34020-Prozessoren aufbauen als
auch auf IIT AGX-Grafikchips basierende Grafik-Beschleuniger-Boards. In
unseren ausgiebigen Tests haben wir festgestellt, daß die relativen Stärken
beider Designs ganz exakt in ihren WinTach-Ergebnissen widergespiegelt werden.
Das Testverfahren mißt die Leistungsfähigkeit einer Grafikkarte und ihres
Treibers, indem Standard-API-Aufrufe  ausgeführt werden, völlig unabhängig
von der Architektur, die der Grafikkarte zugrundeliegt. Sollten Sie dennoch
Bedenken haben, der Test könnte TI-basierende Produkte favorisieren, empfehlen
wir, den Test nicht zu verwenden, wenn Sie eine TI-basierende Grafikkarte mit
einer anderen Grafikkarte vergleichen wollen, die keinen TI-Prozessor
verwendet.

Ein anderer Kritikpunkt am WinTach ist, daß die Gewichtung der API-Aufrufe
die Real-World-Applikationen nicht exakt widerspiegele. Als Komponenten-Test,
d.h. als Test, der auf Grafik-Operationen fokussiert ist - im Gegensatz zu
System-Operationen als Ganzes -, ist der WinTach-Test ein ausgezeichnetes
relatives Meßinstrument. Wenn Sie WinTach auf zwei verschiedenen Grafikkarten
oder Treibern fahren, bei gleicher Auflösung und Farbtiefe und in demselben
Rechner, werden Sie zuverlässige Aussagen zur Beschreibung der relativen
Leistungsfähigkeit der beiden Geräte oder Treiber erhalten. Wir haben in der
Praxis nicht feststellen können, daß sich die Rangfolge der Grafikkarten
verändert, die anhand der relativen Performance im WinTach eingestuft wurden,
wenn dieselben Boards unter Zuhilfenamhe von deutlich komplizierteren
Real-World-Applikations-Skripts getestet werden. Wie nah der WinTach jedoch
das Verhalten in aktuellen Anwendungen wiedergibt, ist eine andere Frage, die
unabhängig von der vergleichenden Analyse der Leistung grafischer Sub-Systeme
beantwortet werden muß.


Speedy

Speedy kann auf verschiedene Weise eingesetzt werden, um die relative
Leistungsfähigkeit von Grafik-Hardware- und Display-Treiber-Kombinationen
zu vergleichen. Speedy testet eine breit ausgewählte Vielzahl von Windows
Graphics Device Interface (GDI)-Aufrufen und liefert eine einzige
"SpeedMark"-Zahl für die leichte Vergleichbarkeit mit anderen Systemen oder
Geräten, auf denen Speedy gelaufen ist. Dabei führt Speedy alle
Raster-Operationen aus, die im GDI definiert sind und ist dadurch zugleich
ein geeigneter Test für die Vollständigkeit und Kompatibilität eines
Display-Treibers.

Speedy wurde von Hercules entwickelt, um die Stärken von besonders
hochentwickelten Grafikkarten aufzuzeigen. Es gibt zwei Hauptgebiete in denen
sich Speedy von anderen Grafik-Performance-Benchmarks unterscheidet. Erstens
testet Speedy viele verschiedene parallel ablaufende Anwendungen - im
Gegensatz zu WinBench und WinTach, deren Einzeltests sequentiell ablaufen.
Diese Parallelität, zusammen mit der Verwendung von Zufallskoordinaten
innerhalb eines jeden Einzeltests, hat zur Folge, daß es sehr schwierig ist,
einen Display-Treiber so zu manipulieren, daß höhere Speedy Testergebnisse
ausgewiesen werden.

Der Test berücksichtigt zusätzlich eine andere wichtige Bestimmungsgröße, die
einen großen Einfluß auf die Performance haben kann: Speedy fordert von dem
Display-Treiber, mit mehreren Applikationen gleichzeitig zu arbeiten. Die
Möglichkeit, mehrere Applikationen simultan zu fahren, ist eines der
charakteristischen Merkmale des Windows-Betriebssystems. Der Grad, bis zu dem
die CPU Grafik-Befehle und -Aufgaben auslagern kann, um sich anderer Aufgaben
anzunehmen, z. B. Pixels-pro-Sekunde zu berechnen, stellt demzufolge einen
wichtigen Teil des Performance-Vorteils eines Windows-Grafik-Beschleunigers
dar.

Der zweite Unterschied besteht darin, daß Speedy Farbpaletten durchläuft,
indem er das RGB-Modell von Windows verwendet, unabhängig von der aktuellen
Pixeltiefe des Display-Adapters. Das hat zur Folge, daß ein Treiber für 256
Farben diejenigen Farben, die nicht in seiner Palette enthalten sind, durch
Dithering simulieren muß. Andere Benchmark-Tests lassen die Farbtiefe
unberücksichtigt, so daß der Test mit einem 16,7 Millionen
Farben-Grafikadapter sich äußerlich nicht unterscheidet und auch nicht mehr
von dem Treiber verlangt als der Test eines Adapters, der nur 16 Farben
darstellen kann.

Die einfachste Anwendungsmöglichkeit von Speedy ist, Auto Run im
Kontroll-Menü anzuwählen (oder die F2-Taste zu drücken). Speedy füllt den
Bildschirm mit acht verschiedenen Grafik-Applikationen, die alle parallel
ablaufen. In der Bildmitte wird ein Fenster geöffnet, in dem ein Wert
angegeben ist, und nach 70 Sekunden wird in diesem Fenster ein Speedmark-Wert
dargestellt. Sie beenden Speedy nun durch Drücken der F10-Taste oder indem
Sie "Kill All Instances" im Kontroll-Menü der laufenden Anwendung anwählen.

Wenn Speedy im Auto-Run-Modus läuft, stellt der Wert in der Bildmitte die
Gesamtzahl an Pixels-pro-Sekunde dar, die von allen acht Applikationen
generiert wird, geteilt durch 100.000. Dieser Wert wird einmal pro Sekunde
berechnet. Nachdem Speedy 70 Sekunden lang durchgelaufen ist, wird ein
Mittelwert berechnet und als SPEEDMARK-Rating präsentiert. Bei der
Mittelwertberechnung bleiben die ersten zehn Sekunden des Testdurchlaufs
unberücksichtigt, da in dieser Phase zunächst Initialisierung und
Font-Caching stattfinden und das Gesamtbild somit verfälscht würde. Sie
können den Test zwar unbegrenzt weiterlaufen lassen, jedoch wird sich das
SPEEDMARK-Rating nicht mehr ändern.


Der Speedy Auto Run-Test besteht aus den folgenden Applikationen:

MemToScr ist ein Memory to Screen Bit Block Transfer (BitBlt)-Test, der die
Leistung mißt, mit der die Display-Hardware/Treiber-Kombination als
Bildpunkte definierte Daten (Bitmap) vom Host-Speicher zum Bildschirm-Speicher
transferiert.

PolyHatch mißt die Leistung der Display-Hardware/Treiber-Kombination beim
Zeichnen von mit Mustern gefüllten Polygonen.

ScrtoScr ist ein Screen-to-Screen BitBlt-Test, der die Leistung mißt, mit der
die Display-Hardware/Treiber-Kombination als Bildpunkte definierte Daten
(Bitmap) von einem Teil des Bildschirms zu einem anderen verschiebt.

VecSolid testet die Leistungsfähigkeit der Display-Hardware/Treiber-
Kombination beim Zeichnen von Linien mit veränderlichen Farben.

Rops ist ein Test, der alle 256 Raster-Operationen ausführt, die im
Windows-GDI definiert sind. Eine Raster-Operation definiert, wie die Bits in
einem Quellen-Bitmap (Source) logisch mit den Bits im Ziel-Bitmap
(Destination) kombiniert sind.

Fonts testet die Leistungsfähigkeit der Display-Hardware/Treiber-Kombination
beim "Realisieren" oder Schreiben verschiedener True-Type-Schriftgrößen und
-Farben.

VecStyle testet die Leistungsfähigkeit der Display-Hardware/Treiber-
Kombination beim Zeichnen von Linien in verschiedenen Farben und Mustern.

PolySolid mißt die Leistung der Display-Hardware/Treiber-Kombination beim
Zeichnen von einfarbig gefüllten Polygonen. Wenn die spezifizierte Füllfarbe
in der aktuellen Farbpalette nicht verfügbar ist, muß der Treiber eine
"geditherte" Farbe benutzen, um die spezifizierte Farbe so gut es geht zu
simulieren.

Zusätzlich zu diesen Tests im Auto Run steht Ihnen noch ein weiterer Test zur
Wahl:

DIBToScreen testet die Leistungsfähigkeit der Display-Hardware/Treiber-
Kombination bei der Verwaltung von BitBlts, wenn das Quellen-Bitmap (Source)
nicht im gleichen Format gespeichert ist wie das Screen-Bitmap. Dieser Aufruf
testet die Decodierungsfähigkeit des Treibers.

So erhalten Sie die Tests

Für den Fall, daß Sie die Tests noch nicht besitzen, sind beide, WinTach
und Speedy, über das Hercules Computer Technology BBS erhältlich.

        001-510-623-7449 (V.32bis)
        001-510-623-7034 (V.32)
        001-510-623-7142 (1200/2400)

Wenn Sie im Hauptmenü des Hercules BBS sind, drücken Sie einfach "D", um das
Herunterladen (Download) zu initialisieren und geben Sie den Dateinamen an,
entweder WINTACH.ZIP oder SPEEDY.ZIP.

Wir bei Hercules interessieren uns für Ihre Grafik-Performance. Starten Sie
WinTach oder Speedy auf Ihrem Computer, drucken Sie den folgenden Teil dieses
Dokuments aus und tragen Sie Ihre Ergebnisse und einige
Hintergrundinformationen ein. Wir freuen uns, wenn Sie uns den Ausdruck dann
per Fax zusenden (Fax-Nr. 001-510-623-1112).


Und hier sind nun einige für Sie sehr interessante Vergleichswerte:
die Benchmark-Testergebnisse der Hercules Graphite Card (Modell HG210)

Getestet in der Auflösung 1024 x 768 mit 256 Farben und 72 Hz Bildfrequenz
auf einem Compaq Deskpro/i mit 8 MB RAM. Der eingesetzte Treiber ist
AGX.DRV mit "Large Fonts".

    Prozessor       WinTach         Speedy
    386DX/25        16,78           16,57
    386DX/33        20,06           19,48
    486DX/33        28,46           25,67
    486DX/66        34,16           28,62

____________________________________________________________________________________

FAX an Hercules Computer Technology

Fax-Nr. 001-510-623-1112

Mein Name:              __________________________________

Mein System-
Hersteller:             __________________________________
Modell:                 ____________________

Prozessor:              __________________
Taktrate:               _________
Speicher (RAM):         ____________

Mein Grafik-
karten-Hersteller:      _________________________________
Modell:                 ____________________

Auflösung:              ______________
Anzahl Farben:          ______
Bildfrequenz:           _____________

Treiber (von WinTach
angegebener Name):      ________________________________________

WinTach RPM:            __________________
SpeedMark:              _________________________________


Bitte geben Sie mir mehr Informationen über Grafik-Beschleuniger von Hercules
per  O Telefon   O Fax  O Post  O E-Mail  (bitte ankreuzen!)

unter der folgenden Nummer/Anschrift:

Anschrift               --------------------------------
            --------------------------------
            --------------------------------
            --------------------------------

Telefon                 --------------------------------
Fax                     --------------------------------

               ---  Ende ---