Dendrochronologische Untersuchungen aus dem Jahre 1984 angefertigt vom Büro Tisje für Frau Theresia Brunn an mehreren Holzbalken mit eine deutlich sichtbaren Waldkante ergaben als Datum der Fällung das Jahr 1360. Diese Jahreszahl konnte in der Voruntersuchung durch weitere Proben bestätigt werden. Da bekannt ist, daß damals Hölzer für den Hausbau mindestens ein Jahr trocknen mußten, ist anzunehmen, daß das Fachwerkhaus nicht vor 1361 errichtet worden sein kann.
Demnach wurde das Haus nur etwa 10 Jahre nach der verheerenden Pest Pandemie, die gemeinhin als der „Schwarze Tod“ bezeichnet wird, erbaut. Während in Europa etwa 30 % der Menschen starben, fielen in Deutschland damals nur rund 10 % der Bevölkerung der Pest zum Opfer und im östlichen Gebiet des heutigen Deutschland war die Anzahl der Todesopfer noch sehr viel geringer. Die Anschuldigung, die Juden würden durch das Vergiften von Brunnen die Seuche verbreiten, bezeichnete Papst Klemens der VI. am 4. Juli 1348 in einer Bulle als „unvorstellbar“, da sie in Gegenden der Erde wüte, wo keine Juden lebten, und dort, wo sie lebten, sie selbst Opfer der Seuche würden. Die schweren Judenpogrome hatten zur Folge, daß nach 1353 nur noch wenige Menschen jüdischen Glaubens in Deutschland und den Niederlanden lebten. Im „Trauf-, Kandl- und Winkelrecht“, einer wichtigen Miltenberger Quelle, wird aber am 9. Nov. 1361 bereits wieder ein Stadtteil nahe der alten Synagoge „in der Judenstadt“ genannt.
Die erste Stadtbefestigung des 13. Jahrhunderts hatte die Form zweier mit der Burgbefestigung verbundener und von der Mildenburg zum Main herabführender Schenkelmauern. Sie bildet heute noch die südöstliche Außenmauer der Häuser Schloßgasse 3, 5 und 7 und daher wurde das Haus am Schnatterloch zunächst noch außerhalb der damaligen Stadtmauern errichtet. Wohl erst ab Ende des 14. Jahrhundert wurde im Zuge der Stadterweiterungen mit dem Bau neuer Stadtmauern begonnen, die bis zu den weithin sichtbaren Bauwerken des Mainzer (Baujahr anno 1403) und Würzburger (anno 1405) Tores reichen sollten. Vollendet wurde die Stadtbefestigung dann erst mit dem südlichen Teil oberhalb der Stadt (gemäß ein Inschrift anno 1442) und dem Schnatterlochturm (anno 1453). Wilhelm Otto Keller schreibt jedoch in „Eine Zukunft für unsere Vergangenheit“: „Nach dem ältesten Miltenberger Stammbuch standen 1379 sowohl das Mainzer und das Würzburger Tor als auch das alte Rathaus. Allen ist ein umlaufender Bogenfries gemeinsam, der auf den gleichen Baumeister hinweisen könnte.“
Einen ersten Hinweis in der Geschichtsschreibung auf ein Haus gegenüber dem alten Schulhaus, auf der anderen Seite der Klinge, geben die folgenden Absätze in der Chronik von Michael Joseph Wirth:
und weiter auf der folgenden Seite:
Leider wurde das alte Wappenschild mit den Buchstaben a. S. (ad Sacra) an der nördlichen Ecke bisher nicht gefunden. Es könnte aber auch nach der Reformation entfernt worden sein, als es nur noch weltlichen Zwecken diente.
Im alten Schulhaus sollen demnach vor der Reformation einige Altaristen gewohnt haben, die in der St. Jakobus Kirche am Marktplatz Dienst taten. Danach wurden einige der Altaristen-Wohnungen verkauft, wie eine andere Stelle in der Chronik belegt:
Punkt 4 könnte das Altaristen-Institut sein, das im 16. Jahrhundert aufgelöst wurde und danach Knabenschule wurde.
Der leider bereits 1993 verstorbene Pfr. Norbert Schmidt aus Neunkirchen weist in dem Buch „750 Jahre Miltenberg“ in seinem Beitrag “Aus der Kirchen- und Pfarrgeschichte von Miltenberg“ darauf hin, daß es in Miltenberg neben den 12 Altaristen auch immer einen Plebanus gegeben haben muß. In den Würzburger Diözesan-Geschichtsblättern Band 33 schreibt er, in Übereinstimmung mit Joseph Wirth in der Chronik, daß es 1364 Hinweise auf einen Pfarrer Friedrich von Merzenicht gibt. Später, vermutet er, hatte Ludwig Liebing 1381 dieses Amt inne und glaubt Wirth korrigieren zu müssen, der Liebing zum Vorgänger von Merzenicht gemacht hatte.
Könnte daher der Plebanus von Merzenicht der Erbauer des alten Pfarrhauses am historischen Marktplatz in Miltenberg gewesen sein? Das dendrochronologisch bestimmte Baujahr von ca. 1361 und die Lage des Hauses mit dem herrlichen Blick auf die Türme der Jakobuskirche sprechen sicher ebenfalls dafür, daß hier in unmittelbarer Nachbarschaft zu den Altaristen der Plebanus oder Pfarrer gewohnt haben könnte.
Vom 15. bis ins 18. Jahrhundert hatte die Jakobuskirche allerdings im Gegensatz zu heute nur einen spitzen Turm and der NO-Ecke des Kirchenschiffes, also der dem Marktplatz zugewandten Seite, wie auf der Federzeichnung von Wenzel Hollar (anno 1636) zu sehen ist. Diese Zeichnung war 10 Jahre später die Vorlage für den bekannteren Kupferstich von Matthäus Merian. Die Kirche selbst entstand bereits im 13. Jahrhundert. Gegen Ende des 14. Jahrhunderts (nach Michael Joseph Wirth erst 1506 oder sogar anno 1556) wurde der größere dreischiffige Bau errichtet, der mindestens bis 1783, als die Kirche für baufällig erklärt wurde, unverändert blieb.
Am Haus selbst gibt es zwei Hinweise zum seinem Alter. Zum einen ziert die Ostecke des Hauses ein Wappenschild mit den Initialen NF und der Jahreszahl 1530. Vermutlich wurde damals bei einem Umbau das untere Stockwerk in Stein ausgeführt, obwohl dies erst 90 Jahre später (1620) eine städtische Bauordnung zwingend vorschreibt. Die Initialen sollen von dem damaligen Stadtrat Nikolaus Funtschelin stammen, möglicher Weise ein Verwandter des „zum Schwert“-Wirtes Johannes Funtschelin (ca. 1509). Eine weitere Jahreszahl, nämlich 1558, befindet sich über dem Eingang zum oberen Gewölbekeller. Vermutlich wurde also erst 28 Jahre später der Keller hinter dem Haus gegraben und mit der Eingangshalle verbunden. Könnte dies ein Hinweis darauf sein, daß schon zum damaligen Zeitpunkt der Keller unter dem Haus einen anderen Besitzer hatte?
Wappen an der Ostecke 
Jahreszahl über dem Kellereingang
Aus der Voruntersuchung wissen wir, daß von 1618 bis 48 der Messerschmied Hans Heinrich Oettinger Besitzer des Hauses war. Das „Häuslein“ ist erstmals im Lagerbuch von 1646 erwähnt. 1752 wurde Franz Bartel Ripperger neuer Besitzer. Weitere Besitzwechsel folgten, darunter war auch der Schlossbesitzer Archivar Habel.
Erste Abbildungen lassen sich auf Zeichnungen von Carl Gottlieb Horstig (1763*-1835†), einem ehemaligen Besitzer der Mildenburg, und dem Kunstmaler Franz Leinecker (1825*-1917†), sowie auf einer Lithographie, angefertigt nach einem Aquarell der britischen Botanikerin Amélia Matilda Murray (1795*-1884†), finden. Auf der Lithographie kann man links noch die am 14. Sept. 1848 abgebrannten Gaststätten „zum Schwert“ und „Stern“ sehen. Auf der Zeichnung von C. H. Horstig ist eines dieser Häuser sogar durch ein Wirtshausschild, verziert mit einem Stern, gekennzeichnet.
Erste Fotographien gibt es erst aus den Jahren nach dem 1. Weltkrieg. Im 19. Jahrhundert verlangte der Brandschutz besonders in größeren Orten einen Verputz der Fachwerkwände. Daher sieht man das Haus auf älteren Fotographien stets verputzt und mit einer Sattelgaube. Erst in der Nachkriegszeit muß dieser Putz wieder entfernt worden sein und möglicher Weise das zur Voruntersuchung vorgefundene flachere Dach mit Schleppgaube errichtet worden sein.
Älteste Ansicht des Miltenberger Marktplatzes. Zeichnung von Carl Gottlieb Horstig (1820/30)
Im Staatsarchiv Würzburg findet sich als ältester Eintrag, daß Heinrich Holl seinem Sohn Heinrich Jakob Holl am 26. Dez. 1848 unter anderem 7 qm des Flurstücks 323 mit Keller und Anbau neben dem Wohnhaus N° 356 übergibt. Am 30. März 1861 kauft Heinrich Jakob Holl noch 7 qm von der Witwe Regina des Georg Sebollmer dazu. Am 20. März 1882 verkauft er dann von diesen 14 qm wieder 8 qm an den damaligen Besitzer des Hauses N° 356 und besitzt dann nur noch den Keller unter dem Haus und den Kellerabgang. Eine zur damaligen Zeit durchaus gängige Praxis für die Bewohner Miltenbergs, die ein Haus im Überflutungsgebiet des Mains hatten. Man versuchte einen Lagerraum zu bekommen oder zu behalten, der nicht durch Überschwemmung gefährdet war. Leider konnte bis jetzt nicht geklärt werden, wann der Keller unter dem Denkmal verkauft wurde.
Am 16. April 1887 verkauft Karl Hillebrand das Haus N° 356 nebst Holzremise, Kelterhaus und Viehstall an Franz Brunn, nach dessen Familienname das Haus in Miltenberg bekannt ist. In der Familie Brunn verblieb es dann bis in die heutige Zeit. Seit Dezember 2014 ist dieses Gebäude im Besitz der neuen Eigentümer.
Der Keller unter dem Haus gehörte damals einer Erbengemeinschaft aus sechs Personen, von denen nur noch eine Erbin den Mädchennamen Holl trägt. Die neuen Eigentümer konnten im Mai 2017 den Keller und die 6 qm des Flurstücks 323, auf denen sich der Kellerabgang befindet, von dieser Erbengemeinschaft zurück erwerben.