كان أبوه إبراهيم المدعو الجرمقاني وأمه سارة فاضلين مباركين يقيمان في مدينة تدعى الحديثة عند الموصل، وفي عام ٦٦٠ للميلاد أعطى الرب الإله إبراهيم وسارة مولوداً ذكراً دعي يوحنا . في الثانية عشرة من عمره أكمل قراءة الكتاب المقدس وصار يواظب على الصوم والصلاة ليلاً نهاراً وتلاوة الكتب وأخبار الآباء القديسين. وفي صبيحة أحد الأيام هام يوحنا على وجهه ، فلما قرب من أحد الأديرة دخل وصار بين القلالي فلما انتهى إلى قلاية راهب يدعى سمعان الشيخ دق على الباب فخرج إليه وأدخله إ ليه وقبله. لازم يوحنا الدير عشرة من السنين لا يخرج إلا يوم الأحد ، وكان يصوم النهار أجمع ويسهر الليل . ثم دفع رئيس الدير إلى يوحنا قلاية فحبس نفسه فيها، لا يخرج منها إلا في كل خمسين يوماً واحداً، وكان الرهبان يلقون إليه القوت من كوة الحائط، زاد بعدها تضييقاً على نفسه فوق تضييق فصار لا يخرج من القلاية إلا ثلاثة أيام في السنة، الخميس الكبير والسبت الكبير والقيامة . ثم إن الشيخ علم أن وقت خروجه من هذه الدنيا قد قرب فقال ليوحنا :"إعلم يا ابني يوحنا أنك سترجع إلى بلدك ويخولك الله رئاسة جليلة في ... الإيمان وترد خلقاً عظيماً إلى عبادة الله ويجري الرب على يديك الآيات الجليلة ويتبرك بك شعوب كثيرون ويعلي الله اسمك وذكرك في آفاق الدنيا في حياتك ومن بعد وفاتك ". وصار البار إلى مدينة كان أهلها يعبدون الشجر فقال لهم :"اتقوا الله أيها الناس ... اعبدوا الله خالقكم واعلموا أن الشجر خلقها الله لتثمر لكم ". ثم تنكر ودخل السوق وابتاع فأساً وجاء إلى بستان العبادة في الليل، والناس نيام، ودنا من الشجر وأخذ يضرب كل واحدة منها ضربة واحدة باسم الرب يسوع المسيح فتساقطت كلها وكانت أربعة آلاف وقام في وسط البستان يصلي بصوت عال فنظره أهل البلد وإذ وجهه متلألئاً بالنور فألقوا بأنفسهم بين يديه وقالوا له:نحن من هذا اليوم مؤمنون بإلهك يسوع المسيح، فعمدهم يوحنا وخرج عنهم. فقصد بيت المقدس فبلَّغه الرب إليه بسرعة، ثم انصرف بوحي الله إلى دمشق، حيث شفى فيها ابنة أحد الأمراء، وفي طريقه إلى الديلم التقى حاكم مدينة الموصل الذي كان يشكو سرطاناً في ساعده فشفاه منه، واعترافاً بفضل يوحنا عليه كتب إلى عامله بفارس أن يمنح يوحنا قطعة من الأرض ويترك له حرية اختيار موقعها ومساحتها . ثم باشر يوحنا ببناء الدير على تلك القطعة من الأرض، ولما كثر المقبلون إليه من ذوي العاهات والأمراض من بلاد فارس أخذ يبرئهم ويرسلهم ليعملوا في البناء، كل واحد منهم يوماً واحداً. ولما تمم الكنيسة والقلالي قصده قوم فترهبوا وأقاموا فيها . وأوحى إليه الرب يسوع بقرب مغادرته لهذا العالم فأوصى رهبانه بالمحبة والرحمة للغرباء ولبعضهم بعضاً ثم أودع نفسه لدى الرب وكان ذلك عام ٧٣٨ للميلاد.