Fils d'un gendarme en poste à Aix-en-Provence, il passe son enfance à Venelles dans la maison familiale. Fernand Charpin combat pendant la Première Guerre mondiale avec le grade de sergent dans l'infanterie. Fait prisonnier de guerre en Argonne en juin 1916 et interné en Allemagne, il en est rapatrié en janvier 19192,3.
Après le Conservatoire, il débute sur scène en interprétant le répertoire classique, et devient petit à petit une des valeurs sûres du théâtre de l'Odéon4. Il rencontre Raimu et Marcel Pagnol en 1928. Pagnol est alors à la recherche de son Panisse pour sa nouvelle pièce, Marius5. Jouée en 1929, celle-ci connaîtra un succès immédiat. En 1931, Pagnol décide d'adapter sa trilogie marseillaise au cinéma. Charpin compose donc le rôle de Panisse pour l'écran dans Marius (1931), Fanny (1932) et César (1936).
Il a encore tourné avec Pagnol Le gendre de monsieur Poirier (1933), Le Schpountz (1937), La Femme du boulanger (1938) et La Fille du puisatier (1940). Dans La Femme du boulanger, il joue le rôle d'un marquis débauché et jouisseur, maire du village, et châtelain dont le premier berger part avec la femme adultère du boulanger.
Il joue également dans Chotard et Cie, adapté de la pièce homonyme par Jean Renoir en 1932, La Belle Équipe et Pépé le Moko (1936) de Julien Duvivier.
Fernand Charpin meurt subitement le 7 novembre 1944, à 57 ans, quelques mois après la Libération, après avoir monté par l'escalier les sept étages de son immeuble, 3 rue Émile-Allez, alors qu'il est cardiaque, l'ascenseur étant à l'arrêt en raison des restrictions d'électricité6,7. Il repose au cimetière des Batignolles (29e division)8,9.
Il a épousé le 28 janvier 1913 la comédienne Gabrielle Doulcet.