यद्यपि श्रील हरिदास ठाकुर एक मुस्लिम परिवार में जन्मे थे, उन्हें विधिवत प्रारम्भ किये हुए ब्राह्मण के रूप में स्वीकार किया गया था। जैसे, जगन्नाथपुरी के मंदिर में प्रवेश करने का उनको पूरा अधिकार था, किंतु क्योंकि कुछ नियम और अधिनियम थे जो यह बताते थे कि केवल ब्राह्मण, क्षत्रिय, वैश्य और शूद्र (वर्णाश्रम-धर्म प्रणाली के सदस्य) ही प्रवेश कर सकते हैं, हरिदास ठाकुर ने अपनी महान विनम्रता से उन पहले से निश्चित नियमों का उल्लंघन नहीं करना चाहा। इसलिए उन्होंने कहा की उनके में मंदिर में प्रवेश करने की ताकत नहीं है, और उन्होंने बताया की यदि भगवान श्री चैतन्य महाप्रभु मंदिर के भीतर रहते, तो हरिदास ठाकुर के लिए उन्हें देखने का कोई रास्ता नहीं होता। बाद में, जब हरिदास ठाकुर जगन्नाथपुरी गए, वे मंदिर के बाहर सिद्धबाकुल नामक एक स्थान पर रहते थे। अब वहाँ एक मठ बन गया है, जिसे सिद्धबाकुल मठ के नाम से जाना जाता है। जो लोग जगन्नाथपुरी जाते हैं वे अक्सर समुद्र के किनारे समुद्र तट पर सिद्धबाकुल और हरिदास ठाकुर की समाधि देखने जाते हैं।