Contents
1 Introduction to Python 3
1.1 Getting Set-Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Syntax and Basic Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Variables: What Stata Calls Macros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.3 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.4 Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.5 Truth Value Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Advanced Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1 Tuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.3 Dictionaries (also known as hash maps) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.4 Casting and a Recap of Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 String Operators and Regular Expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 Regular Expression Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.2 Regular Expression Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.3 Grouping RE’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.4 Assertions: Non-Capturing Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.5 Portability of REs (REs in Stata) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.5 Working with the Operating System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6 Working with Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Applications 24
2.1 Text Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.1 Extraction from Word Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.2 Word Frequency Dictionaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.3 Soundex: Surname Matching by Sounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.4 Levenshtein’s “Edit Distance” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 Web Scraping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.1 Using urllib2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.2 Logging-in with Cookies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.3 Making your Scripts Robust . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.4 Saving Binary Files on Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.5 Chunking Large Downloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.6 Unzipping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.7 Email Notifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.8 Crawling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2.9 A Note on Privacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Extensions 35
2
