NUMERISCHE GENAUIGKEIT

Mit der Konfigurationseinstellung NUMERICPRECISION für Essbase können Sie die Anzahl der Dezimalstellen festlegen, die von Report Writer für numerischen Vergleich verwendet werden.

Syntax

NUMERICPRECISION n

n: Die Anzahl der Nachkommastellen, die im numerischen Vergleich berücksichtigt werden sollen. Zulässige Werte für n sind -1 bis 15. Der Wert -1 gibt einen vollständigen Vergleich an. Der Standardwert ist 4.

Beschreibung

Diese Einstellung definiert die Anzahl der Nachkommastellen, die von Report Writer für numerischen Vergleich verwendet werden.

Die numerische Vergleichsfunktion subtrahiert einen Wert von dem anderen und vergleicht den absoluten Wert des Ergebnisses mit 10-n. Wenn 10- n größer als der absolute Wert des Subtraktionsergebnisses ist, sind die Zahlen gleich.

Der Wert -1 gibt einen vollständigen Vergleich an.

Beispiel

Vergleichen Sie die Werte 3,289999 und 3,290000 mit einer numerischen Gesamtstellenzahl von 2:

NUMERICPRECISION 2

Wird 3.289999 == 3.290000 mit einer numerischen Genauigkeit von 2 angegeben?

| 3.289999 - 3.290000 | = 0,000001 (absoluter Wert)

10-2 = 0,01

0,01 > 0,000001, also sind die Zahlen gleich.