Nachdem Landgraf Ludwig IX. den reformierten Gläubigen in Pirmasens freie Religionsausübung erlaubt hatte, begannen die Reformierten für einen Kirchenneubau zu sammeln. Besonders dem Obristen-Leutnant Johann Wilhelm Grandfil und seinem unermüdlichen persönlichen und finanziellen Einsatz ist es zu verdanken, dass die reformierte Kirche zwischen 1750 bis 1758 erbaut wurde.
Sie erhielt den Namen Johanneskirche. Dieser Name geht nicht auf den Täufer oder den Evangelisten Johannes zurück, sondern soll an den reformierten Theologen Johannes Calvin erinnern, den großen Schweizer Reformator, der die „reformierte Glaubenstradition“ mitbegründete.
Die Geschichte der Johanneskirche blieb eng mit dem Schicksal der Stadt verknüpft. Nach der Auflösung der Garnison im Jahr 1790 und den Auswirkungen der französischen Revolution erlebten Pirmasenserinnen und Pirmasenser eine schwere Zeit mit großer Armut und Unsicherheit. Im Jahr 1818 schlossen sich Lutheraner und Reformierte in der Pfalz in einer Kirchenunion zusammen. Die Johanneskirche wurde nun als Kirchengebäude überflüssig und zweckentfremdet. Ab 1848 wurde sie durch das bayerische Militär genutzt. Erst zehn Jahre später konnten wieder Nachmittagsgottesdienste in diesem Gebäude gefeiert werden, ab 1891 dann auch wieder regelmäßige Sonntagsgottesdienste. Vorher fand eine grundlegende Renovierung statt mit einer neuen Ausrichtung von Kanzel und Altar.
Beim Luftangriff auf Pirmasens am 9. August 1944 wurden die Johanneskirche sowie das angrenzende Pfarrhaus vollkommen zerstört. Eine vom Ökumenischen Rat der Kirchen gestiftet Notkirche wurde im Pfarrgarten aufgestellt und diente bis zum Wiederaufbau der Johanneskirche im Jahr 1958 als Versammlungsraum der Gemeinde.
Pünktlich zum 200-jährigen Jubiläum der Johanneskirche konnten die fünf neuen Glocken im wieder aufgebauten Turm in Dienst gestellt werden. Seit 1963 erweitert eine Steinmeyer-Orgel mit 35 Registern die Möglichkeiten der Kirchenmusik. Der Bezirkskantor des Kirchenbezirks Pirmasens hat seinen Dienstort an der Johanneskirche und bereichert Gottesdienste und Konzerte.
Die wieder aufgebaute Kirche erhielt Kirchenfenster, die dem Evangelisten Johannes gewidmet sind und verschiedene Darstellungen aus dem Johannesevangelium aufnehmen. An ihre reformierte Geschichte erinnern außerdem zwei Fenster, auf denen Huldrych Zwingli und Johannes Calvin dargestellt sind.
1993 wurde das Kircheninnere umfassend renoviert: Die Kirchenbänke wichen einer Bestuhlung und der gesamte Altarraum wurde neu gestaltet.
Der vordere Kirchenraum erhielt Wandbemalungen durch den Mainzer Maler und Grafiker Alexander Plum.Auch wurde eine moderne Fußbodenheizung eingebaut, damit der Kirchenbesuch so angenehm wie möglich erlebt wird.
In den letzten Jahren wurde außerdem ein barrierefreier Zugang gebaut und die kirchenmusikalischen Möglichkeiten durch einen großen Konzertflügel erweitert.