The VES Handbook of Visual Effects

The VES Handbook

of Visual Effects

This page intentionally left blank

The VES Handbook

of Visual Effects

Industry Standard VFX

Practices and Procedures

Edited By

Jeffrey A. Okun

Susan Zwerman

Co-Editors:

Scott Squires

Toni Pace Carstensen

Kevin Rafferty

AMSTERDAM  •  BOSTON  •  HEIDELBERG  •  LONDON

NEW YORK  •  OXFORD  •  PARIS  •  SAN DIEGO  •  SAN FRANCISCO

SINGAPORE  •  SYDNEY  •  TOKYO

Focal Press is an imprint of Elsevier

Focal Press is an imprint of Elsevier

30 Corporate Drive, Suite 400, Burlington, MA 01803, USA

The Boulevard, Langford Lane, Kidlington, Oxford, OX5 1GB, UK

© 2010 Visual Effects Society. Published by Elsevier Inc. All rights reserved.

No part of this publication may be reproduced or transmitted in any form or by any means, electronic or mechanical,

including photocopying, recording, or any information storage and retrieval system, without permission in writing

from the publisher. Details on how to seek permission, further information about the Publisher’s permissions policies

and our arrangements with organizations such as the Copyright Clearance Center and the Copyright Licensing Agency,

can be found at our website: www.elsevier.com/permissions.

This book and the individual contributions contained in it are protected under copyright by the Publisher (other than

as may be noted herein).

Notices

Knowledge and best practice in this field are constantly changing. As new research and experience broaden our

understanding, changes in research methods, professional practices, or medical treatment may become necessary.

Practitioners and researchers must always rely on their own experience and knowledge in evaluating and using any

information, methods, compounds, or experiments described herein. In using such information or methods they

should be mindful of their own safety and the safety of others, including parties for whom they have a professional

responsibility.

To the fullest extent of the law, neither the Publisher nor the authors, contributors, or editors, assume any liability for

any injury and/or damage to persons or property as a matter of product liability, negligence or otherwise, or from any

use or operation of any methods, products, instructions, or ideas contained in the material herein.

Library of Congress Cataloging-in-Publication Data

The VES handbook of visual effects: industry standard VFX practices and procedures/edited by Jeffrey A. Okun, Susan

Zwerman; co-editors, Scott Squires, Toni Pace Carstensen, Kevin Rafferty.

p. cm.

Includes bibliographical references and index.

ISBN 978-0-240-81242-7 (pbk. : alk. paper) 1.  Cinematography—Special effects—Handbooks, manuals, etc.

2.  Digital video—Handbooks, manuals, etc. 3.  Digital cinematography—Handbooks, manuals, etc. I. Okun, Jeffrey A.

II. Zwerman, Susan. III. Visual Effects Society. IV. Title: Handbook of visual effects.

TR858.V47 2010

778.5’345—dc22

2010008415

British Library Cataloguing-in-Publication Data

A catalogue record for this book is available from the British Library.

ISBN: 978-0-240-81242-7

For information on all Focal Press publications

visit our website at www.elsevierdirect.com

10 11 12 13 5 4 3 2 1

Printed in China.

Typeset by: diacriTech, Chennai, India

CONTENTS v

CONTENTS

About the VES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Foreword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv

Chapter 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Visual Effects and Special Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

Special Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

Why Use Visual Effects? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

The Creation of Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

A Bit of Visual Effects History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Optical Printers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Electronics for Camera Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

The Digital Age . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Unintended Consequences: Where Does Creativity End? . . . . . . . . . . . 13

Chapter 2 Pre-Production/Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Breaking Down a Script—Budgeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Ballpark Budget . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

More Detailed Budgets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Bidding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Plate Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Temp Screenings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Reviewing Bids . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Contracts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Rebidding during Shooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Rebidding in Post . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Monitoring the Budget and Schedule . . . . . . . . . . . . . . . . . . . . . . . . . 23

Keeping the Budget Down . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Working with the Director and Producer . . . . . . . . . . . . . . . . . . . . . . . . 25

Demo Reel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

The Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Moving Forward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Production Departments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Production Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Special Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Stunts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

vi CONTENTS

Wardrobe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Makeup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Editorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Production Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Designing Visual Effects Shots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Guidelines for Directors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Storyboards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Previs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Objective of the Shot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Concept Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Photorealism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Original Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Budget . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Reality and Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

Camera Angles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

Framing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Detail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Speed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Scaled Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Depth of Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Sequence of Shots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Camera Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Less Is More . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Action Pacing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

CG Characters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Creatures and Character Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Powers of 10 Shots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Visual Effects Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Technique Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Additional Suggestions for Determining Techniques . . . . . . . . . . . . . 49

What is Previs? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Development of Previs Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

History and Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

The Applications of Previs: Who Benefits From it and How? . . . . . . . . 57

Postvis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

CONTENTS vii

Cautions and Suggestions for Good Practice . . . . . . . . . . . . . . . . . . . . 66

The Perils of Previs! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Passing the Work On . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

The Role of the VFX Supervisor in Previs . . . . . . . . . . . . . . . . . . . . . . 71

The Future of Previs: Advanced Techniques . . . . . . . . . . . . . . . . . . . . . . 72

Environment Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Character Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Camera Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Gaming Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

On-Set Previs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Lighting Previs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

3D Stereo Previs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Virtual Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Camera Angle Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Drawing What the Lens Sees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Chapter 3 Acquisition/Shooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Working on Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Common Types of Special Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

What Are Special Effects? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

A Brief History of Special Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

The Special Effects Supervisor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Working with the Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

Visual Effects in Service to SFX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

Special Effects Design and Planning . . . . . . . . . . . . . . . . . . . . . . . . . . 86

Storyboards and Previs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

The Elements: Rain, Wind, and Snow and Ice . . . . . . . . . . . . . . . . . . . 87

Smoke, Fire, and Pyrotechnics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

Mechanical Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Flying Wire Rigs and Stunts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

Front and Rear Projection Systems for Visual Effects . . . . . . . . . . . . . . 93

Rear Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Front Projection (Blue or Green Screens and Picture Imagery) . . . . . 94

Rear Projection Equipment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Front Projection Equipment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Large-Area Emissive Displays (LCD, Plasma, and

Jumbotron Screens) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Greenscreen and Bluescreen Photography . . . . . . . . . . . . . . . . . . . . . . 96

Function of the Backing—Green, Blue, or Red . . . . . . . . . . . . . . . . . . 97

viii CONTENTS

Fabric and Paint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

Backing Uniformity and Screen Correction . . . . . . . . . . . . . . . . . . . . . 98

How to Expose a Greenscreen Shot and Why . . . . . . . . . . . . . . . . . . . 103

Setting Screen Brightness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

Floor Shots, Virtual Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Foreground Lighting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Controlling Spill Light . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

Lighting Virtual Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Tracking Marks on the Screen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

On-Set Preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

Camera for Bluescreen or Greenscreen Photography . . . . . . . . . . . . 119

Negative Scanning and Digital Conversion . . . . . . . . . . . . . . . . . . . . 122

The Processed Foreground . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Underwater Photography ................................... 124

Working with the Cinematographer . . . . . . . . . . . . . . . . . . . . . . . . . . 125

The Alpha Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Compositing Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

On-Set Data Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

Camera Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

Tracking Markers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

Props for the Actors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

Cyberscanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Digital Photos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

Lidar/Laser Scanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

Lens Distortion Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

HDRI and Chrome Balls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Lidar Scanning and Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

On-Set 3D Scanning Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

On-Set Data Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

3D Scanning Systems ...................................... 146

Prepping the Actors for Scanning . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

Scanning Props or Cars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

Review All That Has Been Scanned . . . . . . . . . . . . . . . . . . . . . . . . . . 148

3D Scanning Post-Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

Lighting Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

Gathering Lighting Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

Beware of False Savings! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Using Conventional Still Cameras . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Shooting Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

CONTENTS ix

Clean Plates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

Shooting the Clean Plate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Locked-Off Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Moving Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Other Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

Postprocess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Alternates without Clean Plates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Other Uses for Clean Plates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Monster Sticks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

On-Set Animation Capture: Witness Cam . . . . . . . . . . . . . . . . . . . . . . . 169

Wireless Nonvideo Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . 169

Factors Affecting Witness Cameras . . . . . . . . . . . . . . . . . . . . . . . . . . 170

Dealing with the Data in Post-Production . . . . . . . . . . . . . . . . . . . . . 171

Real-Time Matchmoving and Camera-Tracking Data . . . . . . . . . . . . . 172

Triangulation as a Method of Recording Camera Data . . . . . . . . . . . . 177

Camera/Subject Positional Information . . . . . . . . . . . . . . . . . . . . . . . 178

Basics: The Tool Kit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Basics: Nodal Point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

Photographic Reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

Shooting Video as a Reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

Rules, Setup, and Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

Digital Cinematography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

The Viewing System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

The Recording System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

Filming Live-Action Plates to be Used in VFX . . . . . . . . . . . . . . . . . . . 222

Camera Position (Station Point) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

Angle of View . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

Lighting Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

Camera Tilt ............................................... 224

Background Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

Moving Plates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

Scouting the Camera Positions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

A Case Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

Camera Cars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

Camera Car Safety Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

Purpose-Built Crane Cars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Vibration and Camera Stabilization . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Road Speed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Panoramic Rigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

x CONTENTS

On the Water . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

Air to Air . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

Cable Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

Shooting Elements for Compositing . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

What Is an Element? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

Stock Footage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

Types of Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

Generic versus Shot-Specific Elements . . . . . . . . . . . . . . . . . . . . . . . 234

Determining Element Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234

Cheating . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

Backgrounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236

Black Backgrounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Line-Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Camera Format Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

Assorted Methods for Shooting Elements . . . . . . . . . . . . . . . . . . . . 241

High-Speed Photography and Filming Elements . . . . . . . . . . . . . . . . . 246

High-Speed Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

Cameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

Technicians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

Director of Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

Lighting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

Locking Down the Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

Video Assist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

Post . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

Supervising Motion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

What Is Motion Control? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

Performance Choreography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

Multiple-Pass Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

Import and Export of Camera Move Data . . . . . . . . . . . . . . . . . . . . . 257

The Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

Types of Motion Control Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

Motion Control Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

Camera Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

Sync and Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

Dealing with Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

Acquisition of Motion/Still Photographic Textures for

Mapping onto CG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

CONTENTS xi

Panoramic Backgrounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Tiled Stills . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

Motion Tiling and Synchronous Plates . . . . . . . . . . . . . . . . . . . . . . . 269

Practical Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

Stills for Textures and Lighting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

Stop-Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

Evolution of Stop-Motion Photography . . . . . . . . . . . . . . . . . . . . . . . . 274

The Time Required to Shoot in Stop-Motion . . . . . . . . . . . . . . . . . . . 275

Preparation before Shooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276

Setting Up a Shooting Space for Stop-Motion . . . . . . . . . . . . . . . . . 277

Use of Motion Control in Stop-Motion . . . . . . . . . . . . . . . . . . . . . . . 279

Useful Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

Evolution of a Shot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Use of Stop-Motion in Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . 283

What are Miniatures? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

What Are Miniatures and Why Are They Used? . . . . . . . . . . . . . . . . . 284

The Advantages and Disadvantages of Miniature Effects . . . . . . . . 285

Execution of Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287

Design and Integration within the Film . . . . . . . . . . . . . . . . . . . . . . . 288

Photographic Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

Miniature Categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

Scale Determinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Forced Perspective Miniatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

In-Camera Compositing of Miniatures with Full-Scale

Live-Action Actors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

Nodal Pans and Tilts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

Forced Perspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

Mixed Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

The Fabrication of Miniature Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Scale and Purpose Requirements of a Miniature . . . . . . . . . . . . . . . 297

Construction Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

The Paint Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Previsualization and Miniatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

The Basic Standard Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

The Incorporation of Mechanical, Practical, and

Pyrotechnic Effects with Miniatures . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

Water Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

Fire, Explosives, and Collapsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307

Shooting Locations and Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . 308

xii CONTENTS

Photography of Miniature Effects: Motion Control . . . . . . . . . . . . . . . 308

What Is Motion Control and What Are Its Benefits to

Miniature Photography? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

Execution and Technique Using Previs . . . . . . . . . . . . . . . . . . . . . . . . 311

Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

Photography of Miniature Effects: High-Speed Photography . . . . . . . 314

Depth of Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

Pyrotechnics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

Smoke, Fire, and Water . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

The Use of Miniatures in the Digital World . . . . . . . . . . . . . . . . . . . . . . . 319

Special Effects for Miniatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

Shrinking Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

Scale Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

Water . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

Rain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

Fire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

Smoke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330

Explosions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332

Breakaways . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

Chapter 4 Performance and Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . 335

What is Motion Capture? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

Other Types of Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

Resistance-Based Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

Electromechanical-Based Technologies . . . . . . . . . . . . . . . . . . . . . . . 336

Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337

Time-of-Flight Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

Is Motion Capture Right for a Project? . . . . . . . . . . . . . . . . . . . . . . . . . 338

Preparing for Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341

What Can Be Captured . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341

What Cannot Be Captured . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

Technology Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346

Marker Placement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

Marker Placement on Faces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

Marker Masks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

The Strobe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

Markers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355

Lenses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

CONTENTS xiii

Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

Charge-Coupled Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

Onboard Processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361

Inputs/Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

Balance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

Post-Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

Reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366

Labeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366

Rigid Bodies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368

Solving Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368

Facial Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370

Capture Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

Markerless Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Stabilization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

The Face Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

Facial Rigging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378

Facial Action Coding System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381

Real-Time Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Line of Sight . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Markers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Solving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Visualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Alternate Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Chapter 5 Stereoscopic 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387

How 3D Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387

Accommodation and Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 387

Interaxial Separation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

Toe-in versus Horizontal Image Translation . . . . . . . . . . . . . . . . . . . . 390

Parallax or Depth Budget . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391

Positive and Negative Parallax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

Floating Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

Fix It in Post . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396

Stereoscopic Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396

The Emerging Grammar of 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

xiv CONTENTS

Creative Use of Depth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

Previsualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

Avoiding Painful 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

The Aesthetic of Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401

Cutting for 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

Designing for Multiple Release Formats ....................... 404

Immersion-Based versus Convergence-Based Stereo . . . . . . . . . . . 404

Virtual 3D Photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406

Pros and Cons of Virtual 3D Photography . . . . . . . . . . . . . . . . . . . . . 406

Multiple Camera Rigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

The 3D Camera Rig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

Implementing Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

Manipulating the Screen Surround . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

Special Cases for Virtual 3D Photography . . . . . . . . . . . . . . . . . . . . . 413

2D to 3D Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414

Depth Creation Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414

Visual Analysis of 2D Depth Cues . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

Main Artistic Stages of 2D-to-3D Conversion . . . . . . . . . . . . . . . . . . 416

Major 2D-to-3D Conversion Workflows . . . . . . . . . . . . . . . . . . . . . . . 421

Special Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

Transparencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

Reflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

Re-Projection Mapping Method Workflow . . . . . . . . . . . . . . . . . . . . . 422

Pixel Displacement or Pixel Shifting . . . . . . . . . . . . . . . . . . . . . . . . . 425

Minor 2D-to-3D Conversion Workflows . . . . . . . . . . . . . . . . . . . . . . . 426

Automatic Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426

Temporal Offset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426

Dynamic Temporal Offset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

Is “Real” Always Right? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

3D Stereoscopic Visual Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

Prepping for the Third Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

Shooting the Third Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430

Visual Effects in the Third Dimension . . . . . . . . . . . . . . . . . . . . . . . . . 431

Photographed Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

Accuracy and Attention to Detail . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

Artistic Skill Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

Data Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

3D Stereo Digital Intermediate Workflow . . . . . . . . . . . . . . . . . . . . . . . 434

Stereoscopic 3D Process Milestones . . . . . . . . . . . . . . . . . . . . . . . . . 435

Viewing 3D Dailies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436