Nato il 23 gennaio 1872 a Parigi, secondo di tre figli, Paul Langevin mostrò fin da piccolo grande intelligenza e curiosità. Primo nel concorso d'ammissione all'École Lavoisier nel 1884, quattro anni dopo passò all'École Municipale de Physique et de Chemie Industrielles, appena nata. Qui insegnava fisica Pierre Curie (1859-1906), futuro premio Nobel. Ingegnere a diciannove anni, Paul si guadagnò da vivere dando lezioni private fino a quando, due anni dopo, vinse il concorso d'ammissione alla École Normale Superieure. In seguito, passò come borsista all'università di Cambridge, in Inghilterra, e da quest'ultima al prestigioso centro di ricerca Cavendish Laboratory, sempre in quella città, dove il gruppo di Ernest Rutherford (1871-1937), anch'egli futuro premio Nobel, conduceva delle ricerche sull'elettrone.
Langevin tornò in seguito a Parigi, dove ebbe incarichi diversi, fino a succedere a Pierre Curie come docente presso l'École municipale, e ad accettare la cattedra di fisica presso l'École Superieure des Jeunes Filles, succedendo nel 1906 a Marie Curie (1867-1934). Proverbiale per la chiarezza delle spiegazioni e l'entusiasmo nell'insegnamento, sposato e padre di quattro figli, dovette fare i conti - oltre che con problemi di fisica - anche con quelli più "prosaici" dell'economia domestica. Per questo continuò per molti anni a dare ripetizioni private.
In anni in cui si parlava di "crisi della fisica", per i problemi che questa scienza era chiamata ad affrontare e ai quali non riusciva ancora a fornire risposta, Langevin si occupò di temi scottanti. Nel 1904, in occasione del congresso internazionale di fisica di St Louis, negli Stati Uniti, preparò un rapporto che avrebbe costituito di fatto un programma di ricerche sottoscritto da gran parte dei fisici illustri di quegli anni. Nel 1906 - secondo quanto avrebbe raccontato il suo allievo E. Bauer - le sue ricerche sulla meccanica e l'energia lo portarono alla conclusione che «...l'inerzia è una proprietà dell'energia [...] e che tutta la massa dei corpi è proporzionale alla loro energia interna e precisamente pari a tale energia divisa per il quadrato della velocità della luce». In quegli anni nacque un importante sodalizio con il maggiore fisico della nostra epoca, Albert Einstein (1879-1955).
Le ricerche di Langevin sugli ultrasuoni - che avrebbero portato, tra l'altro, all'invenzione dell'ecografo - iniziarono durante la prima guerra mondiale, nel 1915, quando gli fu chiesto di occuparsi di un possibile sistema di rilevamento dei solidi in immersione, problema per il quale si era pensato appunto che potessero essere utili gli ultrasuoni. Il suo primo apparecchio sonar fu del 1918, ma lo strumento più versatile fu realizzato nel 1924. Le ricerche di Langevin sull'argomento andarono avanti fino ai primi anni Quaranta, quando, a causa delle sue iniziative politiche a favore di deputati comunisti francesi, la Marina francese cominciò ad avere un atteggiamento sospettoso nei suoi riguardi. Negli anni Trenta e Quaranta era ormai una personalità importante nel panorama internazionale della fisica. E non mancava di denunciare i pericoli del totalitarismo. In piena guerra, nel marzo 1940 fu destituito dalle sue funzioni e arrestato dalla Gestapo. Alcuni suoi amici riuscirono a farlo espatriare in Svizzera nel 1944. Quando morì a Parigi, nel dicembre 1946, ebbe funerali nazionali molto seguiti dalla popolazione della città; due anni dopo le sue spoglie furono trasportate al Pantheon.
Di genere completamente diverso furono le controversie nate dal fatto che Langevin nel 1917 aveva collaborato col suo amico e collega Rutherford, che lavorava per l'Ammiragliato britannico. Alla fine della seconda guerra mondiale infatti si scaten├▓ una disputa triangolare - tra Gran Bretagna, Francia e Stati Uniti - su chi fosse il vero autore dell'invenzione del sonar.