High Dynamic Range Video
Karol Myszkowski, Rafał Mantiuk, Grzegorz Krawczyk
Contents
1 Introduction 5
1.1 Low vs. High Dynamic Range Imaging . . . . . . . . . . . . . . . . 5
1.2 Device- and Scene-referred Image Representations . . . . . . . . . . 7
1.3 HDR Revolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4 Organization of the Book . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.1 Why HDR Video? . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2 Chapter Overview . . . . . . . . . . . . . . . . . . . . . . . 12
2 Representation of an HDR Image 13
2.1 Light . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Dynamic Range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3 HDR Image and Video Acquisition 21
3.1 Capture Techniques Capable of HDR . . . . . . . . . . . . . . . . . . 21
3.1.1 Temporal Exposure Change . . . . . . . . . . . . . . . . . . 22
3.1.2 Spatial Exposure Change . . . . . . . . . . . . . . . . . . . . 23
3.1.3 Multiple Sensors with Beam Splitters . . . . . . . . . . . . . 24
3.1.4 Solid State Sensors . . . . . . . . . . . . . . . . . . . . . . . 24
3.2 Photometric Calibration of HDR Cameras . . . . . . . . . . . . . . . 25
3.2.1 Camera Response to Light . . . . . . . . . . . . . . . . . . . 25
3.2.2 Mathematical Framework for Response Estimation . . . . . . 26
3.2.3 Procedure for Photometric Calibration . . . . . . . . . . . . . 29
3.2.4 Example Calibration of HDR Video Cameras . . . . . . . . . 30
3.2.5 Quality of Luminance Measurement . . . . . . . . . . . . . . 33
3.2.6 Alternative Response Estimation Methods . . . . . . . . . . . 33
3.2.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4 HDR Image Quality 39
4.1 Visual Metric Classification . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 A Visual Difference Predictor for HDR Images . . . . . . . . . . . . 41
4.2.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 43
5 HDR Image, Video and Texture Compression 45
1
2 CONTENTS
5.1 HDR Pixel Formats and Color Spaces . . . . . . . . . . . . . . . . . 46
5.1.1 Minifloat: 16-bit Floating Point Numbers . . . . . . . . . . . 47
5.1.2 RGBE: Common Exponent . . . . . . . . . . . . . . . . . . 47
5.1.3 LogLuv: Logarithmic encoding . . . . . . . . . . . . . . . . 48
5.1.4 RGB Scale: low-complexity RGBE coding . . . . . . . . . . 49
5.1.5 LogYuv: low-complexity LogLuv . . . . . . . . . . . . . . . 50
5.1.6 JND steps: Perceptually uniform encoding . . . . . . . . . . 50
5.2 High Fidelity Image Formats . . . . . . . . . . . . . . . . . . . . . . 54
5.2.1 Radiance’s HDR Format . . . . . . . . . . . . . . . . . . . . 55
5.2.2 OpenEXR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3 High Fidelity Video Formats . . . . . . . . . . . . . . . . . . . . . . 55
5.3.1 Digital Motion Picture Production . . . . . . . . . . . . . . . 56
5.3.2 Digital Cinema . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3.3 MPEG for High-quality Content . . . . . . . . . . . . . . . . 57
5.3.4 HDR Extension of MPEG-4 . . . . . . . . . . . . . . . . . . 58
5.4 Backward Compatible Compression . . . . . . . . . . . . . . . . . . 58
5.4.1 JPEG HDR . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.4.2 Wavelet Compander . . . . . . . . . . . . . . . . . . . . . . 60
5.4.3 Backward Compatible HDR MPEG . . . . . . . . . . . . . . 60
5.4.4 Scalable High Dynamic Range Video Coding from the JVT . 63
5.5 High Dynamic Range Texture Compression . . . . . . . . . . . . . . 65
5.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6 Tone Reproduction 69
6.1 Tone Mapping Operators . . . . . . . . . . . . . . . . . . . . . . . . 69
6.1.1 Luminance Domain Operators . . . . . . . . . . . . . . . . . 70
6.1.2 Local Adaptation . . . . . . . . . . . . . . . . . . . . . . . . 71
6.1.3 Prevention of Halo Artifacts . . . . . . . . . . . . . . . . . . 72
6.1.4 Segmentation Based Operators . . . . . . . . . . . . . . . . . 74
6.1.5 Contrast Domain Operators . . . . . . . . . . . . . . . . . . 75
6.2 Tone Mapping Studies with Human Subjects . . . . . . . . . . . . . . 76
6.3 Objective Evaluation of Tone Mapping . . . . . . . . . . . . . . . . . 80
6.3.1 Contrast Distortion in Tone Mapping . . . . . . . . . . . . . 80
6.3.2 Analysis of Tone Mapping Algorithms . . . . . . . . . . . . . 81
6.4 Temporal Aspects of Tone Reproduction . . . . . . . . . . . . . . . . 84
6.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7 HDR Display Devices 89
7.1 HDR Display Requirements . . . . . . . . . . . . . . . . . . . . . . 89
7.2 Dual-modulation Displays . . . . . . . . . . . . . . . . . . . . . . . 91
7.3 Laser Projection Systems . . . . . . . . . . . . . . . . . . . . . . . . 95
7.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
8 LDR2HDR: Recovering Dynamic Range in Legacy Content 97
8.1 Bit-depth Expansion and Decontouring Techniques . . . . . . . . . . 98
8.2 Reversing Tone Mapping Curve . . . . . . . . . . . . . . . . . . . . 101
CONTENTS 3
8.3 Single Image-based Camera Response Approximation . . . . . . . . 104
8.4 Recovering Clipped Pixels . . . . . . . . . . . . . . . . . . . . . . . 106
8.5 Handling Video On-the-fly . . . . . . . . . . . . . . . . . . . . . . . 108
8.6 Exploiting Image Capturing Artifacts for Upgrading Dynamic Range . 110
8.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
9 HDRI in Computer Graphics 113
9.1 Computer Graphics as the Source of HDR Images and Video . . . . . 113
9.2 HDR Images and Video as the Input Data for Computer Graphics . . . 116
9.2.1 HDR Video-based Lighting . . . . . . . . . . . . . . . . . . 117
9.2.2 HDR Imaging in Reflectance Measurements . . . . . . . . . . 130
9.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
10 Software 139
10.1 pfstools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
10.2 pfscalibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10.3 pfstmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10.4 HDR Visible Differences Predictor . . . . . . . . . . . . . . . . . . . 140
4 CONTENTS
