Déjà membre de l'Union des jeunes pour le progrès (UJP) dès son arrivée à la faculté, Nicolas Sarkozy adhère à l'Union des démocrates pour la République (UDR) en 1974. Il milite dès son entrée pour l'élection de Jacques Chaban-Delmas à la présidence de la République.
Devenu délégué départemental des jeunes UDR des Hauts-de-Seine, il participe à ce titre au grand congrès de Nice de juin 1975, destiné à rallier Valéry Giscard d'Estaing aux gaullistes, alors majoritaires au Parlement. Dans son premier discours, prononcé pourtant bien après ceux des ténors du parti, il est longuement ovationné et remarqué entre autres par Charles Pasqua et Jacques Chirac. L'une de ses déclarations marquante est : « Être jeune gaulliste, c'est être révolutionnaire ! ».

En 1976, il adhère au Rassemblement pour la République (RPR) nouvellement créé, et devient responsable du parti gaulliste dans la section de Neuilly, puis secrétaire dans la circonscription Neuilly-Puteaux l'année suivante. En 1977 toujours, il est élu conseiller municipal de Neuilly-sur-Seine sur la liste d'Achille Peretti.
Il devient, en 1980, président du comité de soutien des jeunes à la candidature présidentielle de Jacques Chirac en vue de l'élection de 1981
.
Le maire de Neuilly-sur-Seine, Achille Peretti, meurt en 1983 d'un arrêt cardiaque lors d'une réception officielle. Nicolas Sarkozy est chargé de préparer la campagne de Charles Pasqua, qui est considéré comme son mentor en politique
et qui a été le témoin de son premier mariage
. Il prend ce dernier de court en présentant finalement sa propre candidature, expliquant plus tard que « la candidature de Pasqua ne passait pas » et que « ce sont les conseillers municipaux eux-mêmes qui [l]'ont conduit à franchir le pas »
. Après le refus de Jacques Chirac de trancher entre les deux hommes
, Charles Pasqua qui apprend la nouvelle à sa sortie d'hospitalisation
renonce à se présenter, et Nicolas Sarkozy est élu maire de Neuilly-sur-Seine le 29 avril 1983, face au centriste Louis-Charles Bary. À 28 ans, il devient ainsi l'un des plus jeunes maires de France et signe son premier succès politique majeur.
Il est chargé de mission, de 1987 à mai 1988, pour la lutte contre les risques chimiques et radiologiques au sein du ministère de l'Intérieur
.
Lors de la campagne présidentielle de 1988, il s'engage à nouveau aux côtés de Jacques Chirac et est chargé d'organiser ses grands meetings. Ses relations nouées au niveau local sont mises au service du candidat gaulliste qui le présente alors à sa fille, Claude Chirac, puis à Édouard Balladur, avec lesquels il se lie d'amitié. Après la défaite de la droite à l'élection présidentielle, Nicolas Sarkozy est élu député de la 6e circonscription des Hauts-de-Seine.