নাগেরবাজার মোড় থেকে রাষ্ট্রগুরু অ্যাভিনিউ ধরে কয়েক পা হাঁটলেই চোখে পড়বে একটি ওষুধের দোকান। তার পাশ থেকে ডান দিকে ঘুরে কিছুটা এগোলেই এক ভগ্নপ্রায় বাড়ি চোখে পড়বে। কথিত আছে, এই স্থানের নাম দমদম হয় এই বাড়িটি যে ঢিবিটির উপর অবস্থিত, তা থেকেই। আরবি শব্দ ‘দমদমাহ্’র অর্থ চাঁদমারির জন্য নির্মিত উঁচু মাটির ঢিবি। অনেকের মতে, দমদম নামকরণ হয়েছে পার্সি শব্দ ‘দমদমা’ থেকে, যার অর্থ উঁচু ঢিবি।
ঢিবিটির উপর অবস্থিত এই দুর্গসদৃশ বাড়িটিতেই এককালে বাস করতেন রবার্ট ক্লাইভ। তবে ক্লাইভ এ বাড়ির প্রথম বাসিন্দা নন। ঘন জঙ্গল এবং বন্যপ্রাণী অধ্যুষিত সেই আমলের দমদমে এই বাড়িটি ছিল আলিবর্দি খাঁর ‘হান্টিং হাউস’। কারও কারও মতে, ইংরেজদের উপর গোপনে নজর রাখা হত এই বাড়িটি থেকেই। পরে উত্তরাধিকার সূত্রে এই বাড়িটি পান তাঁর নাতি সিরাজউদ্দৌলা। তিনি যখন কলকাতায় আসেন তখন তাঁর সেনাছাউনি পড়ে উমিচাঁদের বাগানবাড়িতে। তখন খুব সম্ভবত এই বাড়িটিতেই ছিলেন সিরাজ। অনেক ঐতিহাসিক বইয়েও এ বিষয়ের উল্লেখ পাওয়া যায়।