Computers Cant compute Μια εισαγωγή στο IEEE 754

1. Computers can’t compute
Μια εισαγωγή στο
IEEE 754
Τσαγκατάκης Γιάννης
Msc in Informatics & MultimediaMsc in Informatics & Multimedia
Department of Informatics Engineering TEI of Crete

2. 2
Τι θα κάνει ο παρακάτω κώδικας;

3. 3
Γιατί;
fsum: 1.0000001192092895508
fprod: 1
dprod: 1
Intel(R) Core(TM) i5-4300U CPU
Γιατί;
fsum: 1.0000001192092895508
fprod: 1
dprod: 1.0000000149011611938
XilinX fpga
Γιατί;Γιατί;
No constexpr
optimizations

4. 4
Γιατί;Γιατί;Γιατί;Γιατί;
224
!!! ERROR on iteration 16777217 !!!

5. 5
Πέραν των ακεραίων
C/Java
Τι τύπο θα χρησιμοποιήσεις
για την τιμή ενός προϊόντος;

6. 6
Πέραν των ακεραίων
● Αριθμοί σταθερής υποδιαστολής
● Rational Arithmetic
● Binary-coded decimal (BCD)
● Logarithmic number Systems (LMS)
● Bignum (arbitrary precision)
● Computer algebra systems
● Αριθμοί κινητής υποδιαστολής
DSP
ΙΕΕΕ 754
22/7

7. 7
IEEE 754
IEEE 754
Floating Point
Standard

8. 8
IEEE 754 Floating Point

9. 9
Biased Exponent Representation
● Τιμή εκθέτη val(E) = E – Bias
● Για 8 bit
– Τιμές από 0 ... 255
– E =0 ή Ε=255 * ειδικές τιμές
– E =0 ... 254 * κανονική αναπαράσταση
● Bias = 127, val = E-127
– val(E=1) = -126
– val(E=127) = 0
– val(E=254) = +127

10. 10
Παράδειγμα
https://www.slideshare.net/prochwani95/06-floating-point

11. 11
Special Patterns

12. 12
Ακρίβεια κωδικοποίησης
Η ακρίβεια είναι στο πλήθος των
στοιχείων (όχι στα δεκαδικά)
– 32 bit : 7-8 δεκαδικά σύμβολα
– 64 bit : 15-16 δεκαδικά σύμβολα

13. 13
Προβλήματα
● Προβλήματα αναπαράστασης
● Λάθη μετατροπής
● Λάθη στρογγυλοποίησης
● Σταδιακή απώλεια ακρίβειας
https://en.wikipedia.org/wiki/Loss_of_significance
● Συγκρίσεις (machine epsilon)
#define FLT_EPSILON 1.19209290e-7F
#define DBL_EPSILON 2.2204460492503131e-16
● Overflow, underflow

14. 14
Προβλήματα
● Δεν ισχύει η αντιμεταθετικότητα
a*(b*c) ≠ (a*b)*c
● Δεν ισχύει η προσεταιριστικότητα
a*(b+c) ≠ a*b+a*c

15. 15
Intel x86 και ΙΕΕΕ 754
● Internal 80bit format x87
● Διαφορετική σειρά εντολών,
διαφορετικά αποτελέσματα
● Extended precision
● C99/C11 long double (gcc, clang)
● Speed over accuracy
Not Valid IEEE 754
● SSE2 instrcuction set
– Valid 754
– Ίδιο πρόγραμμα, ίδια CPU, άλλο αποτέλεσμα
– Ακόμα και για τον ίδιο compiler
● Παλιές GPU δεν έχουν subnormals

16. 16
Πρακτικά θέματα
● Ποτέ δεν ελέγχουμε για ισότητα
fabs(a - b) <= FLT_EPSILON
fabs(a - b) <= epsilon * max(fabs(a), fabs(b))
● Προσοχή στις προσθέσεις αφαιρέσεις
– Αν ο ένας αριθμός είναι μικρός και ο άλλος μεγάλος
● Μαθαίνουμε την τυπική βιβλιοθήκη
● Προσοχή στα NaN, Inf
● Ψάχνουμε για τον σωστό αλγόριθμο
– Συμβουλευόμαστε ένα ειδικευμένο μαθηματικό
– Χρησιμοποιούμε καλές μαθηματικές βιβλιοθήκες

17. 17
Καταστροφή
● Ariane 5 (1996)
– uint_64t →int16_t
– $500 million
● Patriot Missile Failure (1991)
– Dont use floats for time
– 28 νεκροί Αμερικάνοι στρατιώτες
● The sinking of the
Sleipner (1991)
$700 million
F.E.M. σφάλμα 35%

18. 18
Δημιουργία
Doom: Fast Inverse Square Root
https://en.wikipedia.org/wiki/Fast_inverse_square_root
John Carmack

19. 19
Για περισσότερα
● https://en.wikipedia.org/wiki/Floating-
point_arithmetic
● Floating-Point Design with Vivado HLS
● What Every Computer Scientist Should
Know About Floating-Point Arithmetic
https://docs.oracle.com/cd/E19957-01
/806-3568/ncg_goldberg.html
● http://docs.nvidia.com/cuda/floating-p
oint/index.html

20. 20
Ερωτήσεις