Im Jahr 1451 wird der „tyfe kelier” erstmalig als weitere Ratsschenke, ganz in der Nähe des Ratskellers erwähnt. Im „Roten Buche”, dem ältesten der uns erhaltenen Stadtbücher Merseburgs ist da ein Kaufvertrag zwischen Bochard Brun, als Verkäufer und den Ratsherren Hans Kale und Peter Betzkendorff als Käufer, der auf der Milschinsel wohnte, eingetragen.

„wegen des tyfen Keliers und der schunen dar obir in der olgruben gelegen”

Drei Jahre später erwarben die beiden Käufer von Martin Alwer dazu auch noch „den vordern hoff des tiffen Kellers in der olgruben”, so dass sie nun das ganze Grundstück im Besitz hatten. 1457 überließ jedoch Peter Betzkendorff seinen Anteil an „dem huse und hofe das vor dem Tiphin Kelren liet”, Hans Kale, der damit alleiniger Eigentümer wurde.

Ein Menschenalter hindurch erfahren wir danach nichts über den Tiefen Keller, bis 1497 der Rat zu Merseburg dem späteren Bürgermeister Hans Gutjahr „seine helffte des Tiefen Kellers in den olgruben gelegen” abkauft, „also, daß derselbig keller nun ganez des Rats ist, doran auch der Rat die lehen hat”. Der Rat muss also in der vorhergehenden Zeit schon die erste Hälfte des Grundstücks an sich gebracht haben.

Im Jahr 1510 ließ er, wohl unter der Leitung der beiden Baumeister Paul Tyschen und Wolfgang Ruß, von denen der erste aus dem Rat dazu abgeordnet, der zweite von der Gemeinde wegen dieses Amt versah, den Tiefen Keller zu einem Bierkeller ausbauen. Die Kämmereirechnung von 1510/11 gibt unter der Überschrift „Vor Gebaw” ausführlich Auskunft über die dabei entstandenen Kosten:

Hans Rische, der Rischmüller, lieferte für 20 Groschen zwei Floßhölzer zu Bänken und Tischen. 16 Gr. kostete das Schneiden dieser Hölzer und 15 Gr. Tische und Bänke daraus zu machen. Für 7 Gr. wurden etliche Fensterläden angefertigt. Für Bretter bezahlte man 7 alte Schock, für „Remen” 47 Gr. und für Nägel 28 Groschen. Die Zimmerleute bekamen 50 Gr. an Lohn, außerdem 2 Gr. „Trankgeld” und 2 Gr. zum Geschenk. Der ganze Bau kostete also 5 neue Schock und 46 Groschen. Die nötigen Wagenfuhren wurden nicht berechnet, weil sie mit Ratsfuhrwerk und den städtischen Wagenknechten ausgeführt wurden.

Vor 1700 diente der „Tiefe Keller, wie der Name schon sagt, zur Aufbewahrung von Wein und Bier, „daß Sommers-Zeit allerley Getränke vorhanden”. Vulpius berichtet in seiner Chronik, dass der Tiefe Keller „anjetzo stattlich eingerichtet und forthin das Traktir-Hauß heissen soll”. Dieser Name hat sich jedoch nie eingebürgert. Der alte Name, Tiefer Keller ist bis in die Gegenwart noch als Straßenbezeichnung geblieben. 1811-13 wurde der Tiefe Keller als Schulhaus eingerichtet mit vier Schulstuben und vier Lehrerwohnungen. Von 1882 bis 1976 war er dann wieder Gasthaus und wurde von Privathand bewirtschaftet.
Durch Erdrutsch infolge der bereits im Gang befindlichen Abrißarbeiten der Häuser in der Oelgrube ist das Gebäude am 4. Februar 1976 zusammengebrochen. Es wäre ohnehin der Rekonstruktion der Stadt zum Opfer gefallen.