Mariano Rajoy pasó su infancia y adolescencia en tierras gallegas y leonesas. Recibió su primera enseñanza en el Colegio Discípulas de Jesús de León; pasó luego al Colegio Sagrado Corazón de los Jesuitas de la capital leonesa, donde empezó a cursar el bachillerato, que terminó en un instituto público de Pontevedra. Buen estudiante, meticuloso y con buen humor, no tuvo ningún problema para superar todos los cursos hasta que decidió estudiar derecho en la universidad de su ciudad natal. Se licenció en 1977, y al año siguiente aprobó con el número diez de su promoción las oposiciones de registrador de la propiedad, puesto que ejerció en la localidad leonesa de Villafranca del Bierzo los dos años siguientes.
Inició su carrera política en 1981, año en el que fue elegido diputado por Alianza Popular (AP) en las primeras elecciones autonómicas, celebradas el 20 de octubre. En 1983 fue elegido concejal del Ayuntamiento de Pontevedra, y el 11 de junio de 1986 fue designado presidente de la Diputación de Pontevedra. En las elecciones generales de 1986 resultó elegido diputado nacional por la lista de Pontevedra, aunque renunció a su escaño en las Cortes Generales para ocupar la vicepresidencia de la Xunta de Galicia, puesto en el que se mantuvo hasta septiembre de 1987. Por la circunscripción de Pontevedra sería sucesivamente reelegido en todas las elecciones generales celebradas desde entonces.
Aunque procedía de la antigua Alianza Popular (AP) de Manuel Fraga, su talante pragmático y abierto le permitió evolucionar sin ninguna dificultad cuando el Partido Popular (PP) decidió iniciar el largo «viaje hacia el centro» del espectro político español, que él mismo contribuyó a diseñar. En el IX Congreso del Partido Popular (PP), celebrado en enero de 1989, fue elegido vocal dentro de la Ejecutiva Nacional del partido, y en el congreso siguiente (junio de 1990), fue designado vicesecretario general de organización a instancias del líder del partido, José María Aznar, lo que supuso toda una sorpresa para los dirigentes considerados como «pesos pesados» dentro de la organización. Rajoy sustituyó a Arturo Moreno, que causó baja en el partido por su presunta implicación en el «caso Naseiro», relacionado con la financiación irregular del PP.