Die Gabe, genial mit Stift und Farbe umgehen zu können, muss Goerz wohl in die fränkische Wiege gelegt worden sein. Vom Beruf des Kunstmalers wollte sein Vater jedoch nichts wissen. So begann Goerz mit dem Architekturstudium in München. Seine vielseitige Begabung wurde von seinen Lehrern, den Professoren Thiersch und Fischer, rasch erkannt und gefördert. 1934 wurde er als Architekt nach Wiesbaden gerufen, wo er sogleich größere Projekte realisieren konnte.
1968 zog sich Goerz als Architekt zurück und widmete sich von nun an voll und ganz seiner großen Leidenschaft, der Malerei. Es brach wie ein Vulkan aus ihm heraus: Er malte von morgens bis in die Nacht. Zerriss, was missfiel und begann immer wieder Neues. Ideen jagten ihm durch den Kopf, die er mit dem Pinsel unbedingt fixieren musste. Er malte – ganz Architekt – immer im Stehen, mit vollem Draufblick, malte, Eingebungen folgend ohne abzusetzen, oft wie im Rausch. Es gab weder Verbesserung noch Übermalung, keine zögerlichen Pinselstriche bei Goerz – alles war Farbe und Form gewordene Spontanität. Da waren ganze Themenkreise, die ihn erfüllten, über die er immer wieder nachdachte, beispielsweise „Der Drang nach dem Licht“, „Totentänze“, „Ausgelassene Gesellschaften“, „Don Quijotes Abenteuer“, „Mensch und Maske“, „Jeder muss sein Kreuz tragen“. Ein sprechendes Ganzes, das auf Begegnungen und Erlebnissen mit Menschen, auf philosophischen Betrachtungen und Freude an Satire und Parodie, aber auch auf ebensoviel Sinn für Leid und Elend basierte.
Staunend, bewundernd und oft ein wenig fassungslos und nicht selten schockiert, steht der Betrachter dem umfangreichen Werk eines avantgardistischen Einzelgängers gegenüber, den irgendwo einzuordnen – was Goerz selbst im höchsten Maße missfallen hätte – schwerfällt. Nach eigener Aussage fühlte er sich vom „Impressionismus fasziniert und inspiriert“; doch lässt sein Spätwerk im malerischen Bereich unverkennbar neo-expressionistische Züge erkennen, ihn in die Nähe der „Jungen Wilden“ bringen.
Die Kühnheit der Farben verblüfft - Ludwig Goerz war sie selbstverständlich. „Das Schlimmste was ein Maler haben kann, ist Angst vor der Farbe“, so Goerz.
Ludwig Goerz hatte über viele Jahre nicht das geringste Bedürfnis, mit seinem Werk an die Öffentlichkeit zu treten. Er malte nur für sich. Er hasste jeden Rummel um seine Person, wollte weder erklären, noch begründen oder interpretieren müssen. Kunstwerke, die dessen bedürfen, um den Betrachter überhaupt erreichen zu können, waren für ihn keine. Er malte, wann und wie es ihm beliebte. Strömungen und der sogenannte Zeitgeist interessierten ihn nicht.
Trotz dieser Einstellung genoss er die Präsentation seines Werkes anlässlich seines 90. Geburtstages in Wiesbaden sowie die folgenden Ausstellungen in Nürnberg, Wetzlar und Zürich und ihre Resonanz durchaus. Der neuentdeckte, alte „junge Wilde“ mit dem scharfen Blick und dem ewigjungen Herzen wurde überall gefeiert und geehrt. Die dann einsetzende Nachfrage nach seinen Gemälden beglückte ihn zwar, doch wollte Ludwig Goerz sich von so manchem Bild nicht trennen, willigte nur zögernd in ihren Verkauf ein, verschenkte sie hingegen mit großer Freude an Menschen, die ihm innerlich nahe oder künstlerisch verbunden waren.