Peter Paul Kemp wurde am 20. Mai 1896 in Bad Godesberg geboren. Wie er später erzählte, erwuchs seine Begeisterung für Bühne und Schauspiel durch Besuche im Kölner Hänneschen-Puppentheater. In jungen Jahren spielte der Sohn eines Musiklehrers Klavier in einem Ladenkino. Nach dem Schulabschluss besuchte er die Landwirtschaftsschule in Bitburg und die Baugewerkschule in Köln – der Wunsch der Eltern war es, dass der Sohn Architekt wird. Kemp arbeitete zeitweise als Maurer, meldete sich während des Ersten Weltkrieges 1915 freiwillig als Krankenfahrer und wurde an der Westfront eingesetzt. Während dieser Zeit sammelte er erste Schauspielerfahrungen bei einer Soldatenbühne.  

Nach Kriegsende nahm er 1919 (gemeinsam mit Gustaf Gründgens) privaten Schauspielunterricht bei Louise Dumont an der Hochschule für Bühnenkunst des Düsseldorfer Schauspielhauses. Dort absolvierte er erste Auftritte als jugendlicher Komiker. 1921 erhielt er ein einjähriges Engagement am Stadttheater Remscheid und kehrte anschließend ans Düsseldorfer Schauspielhaus zurück. Von 1923 bis 1929 war Kemp Ensemblemitglied der Hamburger Kammerspiele, wo ihn eine enge Zusammenarbeit mit Gustaf Gründgens verband. Er spielte und inszenierte mit großem Erfolg "Charleys Tante" und trat mit Chaplin-Parodien im Kabarett Die Jungfrau auf. Sein Debüt vor der Kamera gab er zu dieser Zeit als Hauptdarsteller kurzer, kurioser Werbefilme für Motorenöl, Rizinus und Lebensversicherungen.  

1929 wechselte Kemp nach Berlin, wo er Engagements an den Saltenburg-Bühnen und den Reinhardt-Bühnen erhielt; erneut arbeitete er hier mit Gründgens zusammen, der bereits im Jahr zuvor nach Berlin gegangen war. Gründgens besetzte Kemp unter anderem als Buchhalter Kringelein in Vicki Baums "Menschen im Hotel" (1930, Theater am Nollendorfplatz); die Aufführung war ein großer Erfolg und verschaffte Kemp den Rang eines Charakterkomikers.

Ab 1930 bekam Kemp auch zahlreiche Filmrollen. Er spielte einen leicht vertrottelten Angestellten in "Der Schuß im Tonfilmatelier" (1930), schüchterne Ganoven in Pabsts "Die 3-Groschen-Oper" (1931) und Langs "M" (1931), und brillierte pfiffig, mit einem Hang zur Melancholie, in Max Ophüls' "Die verkaufte Braut" (1932).

Ab 1933 war er durch Jahresverträge an die Ufa gebunden. Er spielte unter anderem die Titelrolle in "Charleys Tante" (1934, Regie: Robert A. Stemmle) und eine Doppelrolle in Reinhold Schünzels "Amphitryon" (1935) – vor allem diese Herausforderung ermöglichte es Kemp, seine Vielseitigkeit unter Beweis zu stellen: Er verkörperte einerseits den sensiblen, der menschlichen Rasse überdrüssigen Götterboten Merkur, und auf der anderen Seite dessen Gegenpol, den ungepflegten, ungebildeten und groben Diener Sosias.  

Weitere Erfolgsfilme waren "Boccaccio" (1936), "Glückskinder" (1936), "Dir gehört mein Herz" (1938), "Frau Luna" (1941) und die Gruselkomödie "Spuk im Schloß" (1945), in der er (wie so oft) das Faktotum gab. Insgesamt wirkte er zwischen 1933 und 1945 in rund 50 Filmen mit. Zu Kemps eher seltenen Hauptrollen dieser Jahre gehört der verknöcherte und pedantische Junggeselle Rigattieri in der Romanze "Ein Windstoß" (1942). Meist aber hatte er tragende Rollen als stiller, liebenswürdiger Charakterkomiker. Max Ophüls nannte ihn "einen der besten Komiker, die mir je unter die Finger gekommen sind." Die Filmhistoriker Adolf Heinzlmeier und Berndt Schulz beschrieben Kemps Leinwandpersona wie folgt: "Paul Kemp spielte Götterboten, aber auch übernervöse Bürovorsteher, verängstigte Kleinbürger und skurrile Doktoren, und immer wieder die Kumpel von Erfolgreichen, denen er die Kastanien aus dem Feuer holt und am Ende leer ausgeht."  

Aufgrund seiner umfangreichen Filmarbeit übernahm Kemp nur noch gelegentlich Bühnenrollen, so am Berliner Theater am Schiffbauerdamm, dem Schillertheater und 1938/39 bei den Heidelberger Festspielen. Gegen Kriegsende stand er in Prag auf der Bühne. Von dort aus flüchtete er nach Bad Ischl (Oberösterreich) und schloss sich einem Wandertheater an, der Künstlergemeinschaft Ischl, der auch Theo Lingen und Johannes Heesters angehörten. In der Hauptrolle von "Charleys Tante" tingelte er mit der Gruppe durch die österreichische Provinz.

Nach Ende des Zweiten Weltkriegs wurde Kemp im Herbst 1946 ans Wiener Theater in der Josefstadt engagiert, wo er unter anderem die Titelrolle in der Molière-Komödie "George Dandin" übernahm. Anfang der 1950er Jahre zog er nach Bad Godesberg.  

Zwar blieb er auch in der Nachkriegszeit ein gefragter Filmschauspieler, erhielt aber fast nur noch kleinere Rollen, die zwar meist seinem angestammten Rollenklischee entsprachen, seinem komödiantischen Talent jedoch kaum gerecht wurden. Man sah ihn vor allem in wenig ambitionierten Unterhaltungsfilmen wie "Liebe nach Noten" (1947), "Gefährliche Gäste" (1949), "Der Mann, der sich selber sucht" (1950) und "Kein Engel ist so rein" (1950). Eine Hauptrolle spielte er als Cola-Fabrikant in der Komödie "In München steht ein Hofbräuhaus" (1951). Er war ein Faktotum in "Die Dritte von rechts" (1950) und in "Königin der Arena" (1952), ein Kalif in "Die Diebin von Bagdad" (1952) .  

Seine letzten Rollen spielte er 1953 in zwei fast zeitgleich uraufgeführten Filmen: als väterlicher Professor in "Liebeskrieg nach Noten" (1953) und als skurriler Angsthase in der Wirtschaftswunderkomödie "Glück muß man haben" (AT 1953). Beide Filme kamen Mitte August 1953 zur Uraufführung. Genau zu dieser Zeit, am 13. August 1953, starb Paul Kemp in Bonn an den Folgen einer Blinddarmentzündung. Er wurde 58 Jahre alt. Sein umfangreicher Nachlass wurde im Jahr 2005 vom DFF - Deutsches Filminstitut & Filmmuseum in Frankfurt ersteigert.