Die Geschichte des Schweizerischen Ex Libris Clubs beginnt im frühen 20. Jahrhundert. Der «Ex Libris-Club Basilea», der 1901–1907 existierte, stand unter dem Präsidium des Unternehmers und Schriftstellers Emanuel Stickelberger. Von ihm stammt auch das 1904 erschienene Handbuch «Das Exlibris (Bibliothekszeichen) in der Schweiz und in Deutschland». Ab 1901 veröffentlichte der Verleger Fritz Amberger (vormals David Bürkli) in Zürich die «Schweizerischen Blätter für Exlibris-Sammler» in bibliophiler Ausstattung, die zahlreiche Original-Exlibris enthielten. Federführend war Pfarrer Ludwig Gerster, der bereits 1898 das Standardwerk «Die schweizerischen Bibliothekszeichen (Ex-Libris)» veröffentlicht hatte. Im August 1902 zählte der Club bereits 137 Mitglieder, darunter 112 Kolleginnen und Kollegen aus Deutschland, Österreich und Frankreich. Ein Höhepunkt wurde 1904 mit 200 Mitgliedern erreicht. Im gleichen Jahr wurde ein Antrag auf eine Namensänderung des Clubs in «Gesellschaft» mit grosser Mehrheit abgelehnt. Nach einem Jahr Unterbruch erschien der 4. Jahrgang (1906/1907) unter dem neuen Titel «Buchkunst: Zeitschrift für Ex Libris-Sammler und Bücherfreunde». 1907 wurde der Club aufgelöst, und die Mitglieder schlossen sich ausländischen Exlibrisvereinen oder der Schweizerischen Bibliophilen-Gesellschaft an. Letztere publizierte in den Jahren 1933 und 1937 das Standardwerk «Schweizer Exlibris bis zum Jahre 1900» von Agnes Wegmann.
Erst sechs Jahrzehnte später, 1968, wurde der Schweizerische Ex Libris Club (SELC) durch den Tessiner Sammler Carlo Chiesa gegründet. Zum Präsidenten wurde der Holzschneider Aldo Patocchi gewählt, als Vizepräsident amtierte der Architekt und Grafiker Gastone Cambin. Carlo Chiesa übernahm das Sekretariat, die Bibliothekarin Helene Jung stellte sich als Kassierin zur Verfügung, Ruth Irlet, Sekretärin beim Schweizerischen Roten Kreuz, als Beisitzerin. Schon 1968 wurde der Club an der Jahrestagung in Como in die FISAE (Fédération Internationale des Sociétés d’Amateurs d’Ex-Libris) aufgenommen. 1969 traten Aldo Patocchi und Carlo Chiesa von ihren Ämtern zurück. Neuer Präsident wurde Pater Urban Hodel aus Engelberg.
Ab 1972 wurde auch das Mitteilungsblatt des SELC zweimal jährlich in Deutsch und Französisch gedruckt. Der Club wurde neu organisiert, und schon bald gab es erneut Änderungen im Vorstand. 1974 trat Pater Urban Hodel zurück. Nachfolger als Präsident wurde der Architekt Harry Saeger, als Vizepräsident amtierte Divisionär Ernst Wetter. Die Suche nach neuen Mitgliedern gestaltete sich sehr schwierig. In den 1970er-Jahren organisierte der Club Ausstellungen in Zürich, Aarau, St. Gallen, Chur und Basel. 1978 – nach 10 Jahren – zählte der SELC 88 Mitglieder. Werklisten über Schweizer Kunstschaffende und Kongressgaben wurden erstellt. Ab der Nr. 5 (November 1974) des Mitteilungsblattes wurde der Titel in «Kleingraphik. Ex Libris Bucheignerzeichen» abgeändert. Der Architekt Othmar Birkner übernahm die Redaktion von Ernst Wetter.
1989 erfolgte eine Vergrösserung des Vorstands auf sieben Mitglieder. 1990 wurde der Bauingenieur und Exlibrissammler Josef Burch aus Giswil zum neuen Präsidenten gewählt, als Vizepräsident amtierte Othmar Birkner. Dem Vorstand gehörten zudem die Hauswirtschaftslehrerin Marieluise Hennig, die Lyrikerin Brigitte Fuchs und die Buchhändlerin Marianne Kalt an. 1990 wurde das Mitteilungsblatt in «SELC-Express» umbenannt. Es erschien in vier Ausgaben und wurde von Brigitte Fuchs und Marieluise Hennig redigiert. Seit 1990 veröffentlicht der Club zudem Jahresschriften, die bis 1995 von Othmar Birkner redigiert wurden. 1995 übernahm Brigitte Fuchs die Redaktion. Der Grafiker Oswald Hennig entwarf einen neuen Werbeprospekt, womit neue Mitglieder gewonnen werden konnten. Eine grosse Ausstellung von Ernst Wetter im Fliegermuseum Dübendorf über Flieger-, Verkehrsmittel- und Ballon-Exlibris lockte viele Besucher*innen an. Aus Anlass von Carlo Chiesas Schenkung seiner Exlibrissammlung mit zugehöriger Literatur an seine Heimatgemeinde fand die Generalversammlung 1992 in Chiasso statt.
Die Jubiläumsversammlung zum 25-jährigen Bestehen des Clubs fand 1993 in Winterthur statt. Im Gewerbemuseum wurde eine grosse Ausstellung gezeigt, und es erschien die Publikation «25 Jahre Schweizerischer Ex-Libris Club. Jubiläumsschrift 1968–1993». Stefan Hausherr, Bibliothekar an der Stadtbibliothek Winterthur, wurde als Archivar in den Vorstand gewählt; das SELC-Archiv wurde in der dortigen Stadtbibliothek deponiert. Der Club konnte das 100. Mitglied begrüssen. In den folgenden Jahren stieg die Zahl auf 120 Mitglieder. Zur Generalversammlung 1999 in Charmey veröffentlichte Benoît Junod, Director of the Museums and Exhibitions Unit oft he Aga Khan Trust for Culture, parallel zur Ausstellung den Katalog «Schweizerische Bucheignerzeichen des zwanzigsten Jahrhunderts».
Seit Nr. 44/2004 erscheinen die Jahresgaben als umfangreiche Publikationen mit Werklisten und biografischen Angaben zu Kunstschaffenden und Eigner*innen. Diese Schriften verantwortet Anna Stiefel. Mit der Nr. 44 übernahmen 2001 Marianne Kalt und Julia Vermes die Redaktion des SELC Express. Mit der Nr. 62 erschien die Zeitschrift ab Dezember 2005 in neuem Layout, was die Druckqualität verbesserte. 2006 fand der gut besuchte XXXI. FISAE-Kongress in Nyon am Genfersee statt. Organisiert wurde er von Benoît Junod. Mehrere Ausstellungen begleiteten die Veranstaltung, aus deren Anlass Stefan Hausherr die Kongressgabe über den Schweizer Künstler Gregor Rabinovitch herausgab. Im selben Jahr verlieh die Deutsche Exlibris Gesellschaft (DEG) dem SELC die Walter Von Zur Westen-Medaille für besondere Verdienste rund um das Exlibris. An der Generalversammlung 2007 reichte der Präsident Josef Burch nach 17 Jahren Amtszeit seinen Rücktritt ein. Als Nachfolger wurde Stefan Hausherr und als Vizepräsident der Kunsthistoriker Jochen Hesse gewählt. Die begleitende Ausstellung über Zürcher Exlibris-Künstlerinnen und Künstler stiess auf reges Interesse. Als Katalog erschien eine Sonderausgabe des SELC-Express.
Die 2010er-Jahre begannen mit zwei Ausstellungen ausserhalb des Vereinsrahmens: Der Ehrenpräsident Josef Burch zeigte im Museum Bruder Klaus in Sachseln unter dem Titel «Gedenken – Erinnern» seine grosse Exlibrissammlung mit «Memento Mori»-Motiven, ergänzt durch den wunderbaren Totentanz-Zyklus von Michel Fingesten und dem Katalog «Memento Mori. Exlibris zu Tod und Totentanz» von Ulrike Ladnar und Heinz Decker. Stefan Hausherr und Anna Stiefel präsentierten im Bodmanhaus in Gottlieben im Rahmen des Veranstaltungsprogramms des Literaturhauses Thurgau «Eulen, Dichter und Denker im Spiegel des Exlibris». 2012 konnte der SELC an der Weihnachts-Sammlerbörse in Zürich die Kunstgattung des Exlibris einem breiteren Publikum vorstellen. Die Ausstellung «Erotik im Exlibris» wurde von rund 1000 Personen besucht. 2016 wechselte die Redaktion des SELC-Express von Marianne Kalt zu Alice Aeberhard. Im gleichen Jahr wurde die historische Bedeutung des Exlibris in der Jahresgabe zum «Kloster Engelberg» im Artikel des Archivaren Rolf de Kegel zu den «Exlibris der Engelberger Äbte vom 15. Jahrhundert bis heute» thematisiert. An der Jubiläumstagung 2018 «50 Jahre SELC» in Solothurn zeigte Ian Holt, der Leiter der Sondersammlungen der dortigen Zentralbibliothek, Exlibris des berühmten Künstlers Gregorius Sickinger (1558 [?]–1631). Die Jahresgabe zum Jubiläum war einem der erfolgreichsten und bekanntesten Schweizer Exlibriskünstler des 20. Jahrhunderts, dem Basler Alfred Soder (1880–1957), gewidmet. 2019 übernahm Jochen Hesse, Leiter der Graphischen Sammlung und des Fotoarchivs der Zentralbibliothek Zürich, das Präsidium, die Kunsthistorikerin Petra Barton Sigrist das Vizepräsidium.
Zu den zweitätigen Jahrestagungen seit 1993 siehe die folgenden Zusammenstellungen.