তাঁরা ছিলেন পিরালি ব্রাহ্মণদের একটি শাখা। পূর্ববঙ্গের ভিটেমাটি ছেড়ে দেশান্তরী হয়েছিলেন বিভিন্ন কারণে। কোথায় যাবেন, ঠিক নেই। নতুন জায়গায় পা রাখার আগেই বজরায় প্রসব বেদনা উঠল পরিবারের ভাইদের এক জন, বাবুরাম কুশারীর স্ত্রীর। মাঝপথেই থামল বজরা। সপরিবার নেমে গেলেন বাবুরাম। যেখানে নামলেন, সে জায়গার নাম আন্দুল।
কন্যাসন্তানের জন্ম দিলেন বাবুরামের স্ত্রী। বাবুরাম পরিবার নিয়ে থেকে গেলেন আন্দুলেই। পরে মহেশ্বর বটব্যালের সঙ্গে বিয়ে দেন একমাত্র মেয়ের। মহেশ্বর ছিলেন পেশায় শাঁখারি। হুগলির হরিপাল থেকে বাবুরামের পরিবারে শঙ্খ ও শাঁখা বিক্রি করতে আসতেন তিনি। সৎ ও পরিশ্রমী মহেশ্বরকেই ঘরজামাই হিসেবে বেছে নেন দূরদর্শী বাবুরাম। ধীরে ধীরে সেই মহেশ্বরই পত্তন করলেন বিশাল জমিদারির। ব্রিটিশ সরকারের কাছ থেকে মিলল ‘রায়’ উপাধি। সেই থেকে তাঁর উত্তরসূরীরা এই উপাধি ব্যবহার করে আসছেন। পারিবারিক পুজোর বয়স পেরিয়েছে কয়েকশো বছর। বাংলার বনেদি শারদোৎসবের মধ্যে অন্যতম আন্দুল মৌরির রায়পাড়ায় এই রায়বাড়ির পুজো।
প্রতি বছর রায়বাড়ির ঠাকুরদালানেই তৈরি হয় প্রতিমা। এ বছর অতিমারির প্রকোপে কিছুটা বদলেছে সে নিয়ম। মূর্তির কাজ বেশ কিছুটা এগিয়ে তার পরে কুমোর নিয়ে এসেছেন রায়বাড়িতে। বাকি কাজ সেখানেই সারা হয়েছে তার পরে। রায়বাড়ির প্রতিমা নির্মাণ সম্পূর্ণ হলে বাড়ির খুদে সদস্যরা একে একে মায়ের হাতে দেয় পিতলের অস্ত্র। পরিয়ে দেওয়া হয় সিন্দুক থেকে বার করে আনা সোনার গয়না।