Notation iii
Preface ix
1 Independent Random Sequences 1
1.1 Denumerable Sequences . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Sequences of Events . . . . . . . . . . . . . . . . . . . . . 7
1.1.2 Independence . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Analytic Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Generating Functions . . . . . . . . . . . . . . . . . . . . 12
1.2.2 Characteristic Functions . . . . . . . . . . . . . . . . . . . 13
1.2.3 Laplace Transforms . . . . . . . . . . . . . . . . . . . . . 15
1.2.4 Moment Generating Functions and Cram?er Transforms . 17
1.2.5 From Entropy to Entropy Rate . . . . . . . . . . . . . . . 19
1.3 Sums and Random Sums . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1 Sums of Independent Variables . . . . . . . . . . . . . . . 23
1.3.2 Random Sums . . . . . . . . . . . . . . . . . . . . . . . . 27&llÓ'