श्रील भक्तिसिद्धांत सरस्वती ठाकुर ने अपनी अनुभाष्य ग्रन्थ में लिखा है कि जगदीश पंडित के जीवनी विवरण चैतन्य भागवत, आदि खण्ड, अध्याय छह और चैतन्य चरितामृत, आदि लीला, अध्याय चौदह में उपलब्ध है। वह चाकदाहा रेलवे स्टेशन के पास, नादिया जिले में यशदा ग्राम के रहने वाले थे। उनके पिता का नाम कमलाक्ष था, जो भट्ट नारायण के पुत्र थे। उनके माता और पिता दोनों भगवान विष्णु के परम भक्त थे। माता-पिता के स्वर्गवासी होने के उपरांत जगदीश पंडित अपने पत्नी दुखिनी और भाई महेश के साथ अपने जन्म स्थान छोड़ कर श्री मायापुरी आ गए और जग्गनाथ मिश्र तथा अन्य वैष्णवों के साथ रहने लगे। भगवान चैतन्य ने जगदीश पंडित को जग्गनाथ पुरी जाकर हरी नाम संकीर्तन प्रचार करने को कहा। जग्गनाथ पुरी से लौटकर उन्होंने भगवान जग्गनाथ के आदेश से यशदा ग्राम में जग्गनाथ मंदिर स्थापित किया। ऐसा कहा जाता है कि जब जगदीश पंडित जग्गनाथ मूर्ति को यशदा ग्राम ले जा रहे थे, तब उन्होंने भगवान की भारी मूर्ति को एक छड़ी से बांधकर गांव ले आए थे। मंदिर के पुजारी आज भी वह छड़ी दिखाते हैं जिसका प्रयोग जगदीश पंडित ने जग्गनाथ मूर्ति को ले जाने के लिए किया था।