In het begin van de zestiende eeuw, rond 1529, besloot men over te gaan tot een grondige verbouwing van het middeleeuwse stadhuis, dat uit het middengedeelte van het huidige stadhuis bestond. Ook het pand er links naast gelegen (thans ook onderdeel van het stadhuis) oorspronkelijk het huis De Gaffel, was in het bezit van het stadsbestuur sinds 1481. Onder beide panden bevonden zich al kelders, maar architect Jan Darkennis, ook bouwmeester van de Sint Jan, ontwierp nieuwe kelders, voorzien van kruisgewelven, gesteund door pilaren in het midden, waardoor een meerbeukige kelder ontstond. In de muren kwamen nissen om er verlichting in te plaatsen. Ook kwamen er stookplaatsen.
De oorspronkelijke bestemming van de kelders was ontvangst- en feestzaal voor schout en schepenen. Belangrijke personen als keizer Karel V, Filips II van Spanje, Willem van Oranje, de hertog van Alva, keizer Maximiliaan van Oostenrijk en Napoleon werden er ontvangen.De kelder werd dus gebouwd als een verblijfsruimte.
Toch maakte het stadsbestuur er niet meteen gebruik van. Zij verhuurde de kelder in 1532 aan Ad van Roeloffs, boek- en prentverkoper. Deze hield het er niet lang uit, want een jaar later werd de ruimte verhuurd aan de boekdrukker Jan van Turnhout.
In 1556 had de stad de kelder wel nodig. Er werden 53 Franse soldaten in opgesloten, die bij St.-Quentin gevangen waren gemaakt. Ook later is de kelder in gebruik als gevangenis, zoals in 1577 toen er Staatse gevangenen in werden opgesloten.
In 1599 werd het pand rechts van het oude stadhuis, het gildehuis van het kramersgilde Sinterclaes, door het stadsbestuur gekocht. Wat er daarna met de kelders gebeurde is onduidelijk.
Tijdens de Tachtigjarige Oorlog (1568-1648) werden de kelders veelvuldig gebruikt voor de inkwartiering van soldaten van het garnizoen. Nadat Frederik Hendrik de stad in 1629 had ingenomen, werd er de Staatse Hoofdwacht gelegerd.
Het stadhuis zelf werd in 1670 grondig verbouwd, maar de kelders bleven. Door het storten van afval kwam de vloer in de loop der jaren zo’n 80 centimeter hoger te liggen. Achter de gotische kelder bevindt zich de `Olde Regtbanck’. Dit was de stadsgevangenis. Het verhaal gaat dat verdachten, voordat zij werden voorgeleid, hier een nacht moesten doorbrengen en vervolgens naar beneden, naar de rechtbank werden geschopt. Het was een soort voorgeleidingscel.” De van kloostermoppen en maassteentjes gemetselde doorgang heeft een korfboog aan de zijde van de stadsgevangenis maar gaat geleidelijk over in een gotische boog aan de ‘regtbanck-zijde’.
In 1908, toen er centrale verwarming in het stadhuis werd aangelegd, herontdekte Jan Mosmans de kelders. In de krant De Noordbrabander verscheen toen de kop ‘Oude gotische zaal ontdekt’. Jan Mosmans en anderen drongen aan op restauratie. Na deze restauratie werd ze ingericht als ‘stadsfolterkamer’ waar de verzameling folterwerktuigen van de gemeente werd ondergebracht.
Maar in 1925 kreeg het Provinciaal Genootschap van Kunsten en Wetenschappen een eigen ruimte en de gemeentelijke historische verzameling werd daar in bruikleen gegeven. Direct daarop ontstond het idee, er een horeca-functie aan te geven, maar het stadsbestuur was hierop tegen. De kelder werd in gebruik genomen als boterhal: echter niet voor lange tijd.
In 1927 hield burgemeester Van Lanschot zijn befaamde ‘Luistervinken’-actie voor de radio. Dit lokte vele vreemdelingen naar de stad. De laatgotische kelder onder het middengedeelte van het stadhuis werd ingericht als ruimte waar de vele bezoekers van een Brabantse koffietafel konden genieten. Het werd een succes en de betrokken bakker Piet Hendrix stelde voor de ruimte te huren en zo gebeurde wat een paar jaar tevoren was afgewezen: de kelder kreeg als De Raadskelder een horeca-bestemming.
Op 30 april 1929 ‘op de twintigste verjaardag van prinses Juliana’ zo meldt het gastenboek, werd het café-restaurant in gebruik genomen. Het was nog niet het complex van kelders dat de Raadskelder nu beslaat. Het linkerdeel, onder het voormalige huis De Gaffel, is lang een openbare fietsenstalling geweest, terwijl de achterste kelders als stalling voor de fietsen van het gemeentepersoneel gebruikt werden. De kelder onder het vroegere pand Sinterclaes werd ingericht als keuken.
Vanaf de opening in 1929 zijn er gastenboeken bijgehouden en vele gasten hebben hier gebruik van gemaakt. Zoals de Amerikaanse directeur van een frisdrankenfabriek in 1950 die genoot van ‘a wonderful steat and mushrooms with pepsi-cola’. Freddy Heineken zal wel wat anders gedronken hebben toen hij er in 1958 dineerde bij gelegenheid van de opening van de Bossche Heinekenvestiging.
