संस्कृत ग्रंथ अध्वैत चरितम् में कहा गया है कि अध्वैताचार्य के चतुर्थ, पंचम एवं षष्ठ पुत्र क्रमशः बलराम, स्वरूप तथा जगदीश थे। इस प्रकार श्री अध्वैताचार्य के छह पुत्र थे। बलराम, स्वरूप एवं जगदीश स्मार्त या मायावादी थे। इस कारण उन्हें वैष्णव समाज ने अस्वीकार कर दिया था। कभी-कभी मायावादी अपने को वैष्णव या भगवान विष्णु के उपासक के रूप में प्रस्तुत करते हैं। किंतु वास्तव में वे भगवान विष्णु को परमेश्वर नहीं मानते। वे भगवान शिव, दुर्गा, सूर्य एवं गणेश आदि देवताओं को उनका समकक्ष समझते हैं। इन्हें साधारणतया पंचोपासक स्मार्त कहा जाता है। इन्हें वैष्णवों में नहीं गिना जाना चाहिए। बलराम की तीन पत्नियाँ तथा नौ पुत्र थे। उनकी प्रथम पत्नी के छोटे पुत्र का नाम मधुसूदन गोस्वामी था। उन्होंने भट्टाचार्य की उपाधि धारण की और स्मार्त या मायावादी मत के मार्ग को स्वीकार किया। श्रील भक्तिसिद्धांत सरस्वती ठाकुर ने उल्लेख किया है कि गोस्वामी भट्टाचार्य के पुत्र श्री राधारमण गोस्वामी भट्टाचार्य ने गोस्वामी की उपाधि स्वीकार नहीं की। क्योंकि यह उपाधि साधारणतया सन्यासियों के लिए होती है। अर्थात जिन लोगों ने वैराग्यपूर्ण जीवन को अपनाया है। जो अब भी गृहस्थाश्रम में हैं, वे गोस्वामी की उपाधि का दुरुपयोग नहीं करना चाहिए। श्रील भक्तिसिद्धांत सरस्वती ठाकुर उन जातीय गोस्वामियों को मान्यता नहीं देते थे, जो प्रभु चैतन्य महाप्रभु के परम शिष्यों, वैराग्याश्रम में उनके छह गोस्वामियों के वंश के अनुसार नहीं थे। ये छह गोस्वामी हैं - श्रील रूप गोस्वामी, श्रील सनातन गोस्वामी, श्रील भट्ट राघुनाथ गोस्वामी, श्री गोपाल भट्ट गोस्वामी, श्री जीव गोस्वामी एवं श्रील रघुनाथ दास गोस्वामी। श्रील भक्तिसिद्धांत सरस्वती ठाकुर ने कहा कि गृहस्थ आश्रम या गृह जीवन में रहना इंद्रियों के भोग के लिए एक प्रकार से रियायत है। इसलिए गृहस्थ को झूठ से गोस्वामी की उपाधि नहीं धारण करनी चाहिए। इस्कान आंदोलन ने कभी भी किसी गृहस्थ को गोस्वामी की उपाधि नहीं दी। यद्यपि इस्कान में दीक्षा लिए गए हमारे सभी सन्यासी नवयुवक हैं, फिर भी हमने उन्हें सन्यास आश्रम स्वामी और गोस्वामी की उपाधि दी है, क्योंकि उन्होंने अपना जीवन श्री चैतन्य महाप्रभु की भक्ति पद्धति का प्रचार करने के लिए समर्पित कर दिया है। श्रील भक्तिसिद्धांत सरस्वती ठाकुर ने बताया है कि जातीय गृहस्थ गोस्वामी न केवल गोस्वामी की उपाधि का अनादर करते हैं, बल्कि स्मार्त रघुनंदन के सिद्धांतों का अनुसरण करते हुए श्राद्ध समारोह में अध्वैताचार्य की पुआल की मूर्ति जलाकर बड़ा मूर्खतापूर्ण कार्य करते हैं। इससे वे राक्षसों का अनुसरण करते हैं और वैष्णवों के मार्गदर्शक ग्रंथ हरिभक्ति विलास का भी अनादर करते हैं। श्रील भक्तिसिद्धांत सरस्वती ठाकुर कहते हैं कि कभी-कभी ये जातीय स्मार्त गोस्वामी वैष्णव तत्वज्ञान या मूल ग्रंथों पर भाष्य-पुस्तकें भी लिखते हैं, किंतु शुद्ध भक्त को सावधानीपूर्वक ऐसे ग्रंथों को पढ़ने से बचना चाहिए।