Karlovi kvůli otci u SS odmala nadávali: StB ho vyslýchala už jako šestnáctiletého
Karel Pfeiffer se narodil na Slovensku. Maminka byla Češka a táta slovenský Němec, který během války narukoval k SS. Přestože si toho Karel z války mnohem nepamatuje, protože byl příliš malý, po válce zažila rodina kvůli otcově působení u SS nejednu nepříjemnost. Karla několikrát ještě ve velmi mladém věku vyslýchala StB a s tátou se setkal až po dlouhých dvaceti letech. Za nejšťastnější období života Karel považuje období po revoluci.