در زمان تبعید، سعی کردم کارهایی هم برای طلاب آن‌جا شروع کنم و چندین طلبه را هم تربیت نمودم که طلبه‌های خوبی بودند و الان هم هستند. من به این افراد تا جایی که می‌توانستم کمک می‌کردم. ارتباط مردم کم‌کم با من زیاد شد و مرا به مسجدی که در مرکز شهر بود دعوت نمودند تا نماز بخوانم. شاید هنوز یک ماه بیشتر نگذشته بود که مسجد بسیار شلوغ شد. پس از نمازهای جماعت سعی می‌کردم به مشکلات مردم رسیدگی کنم و وقتی مطلع شدم که در فلان روستا حمام، مدرسه  یا کتابخانه وجود ندارد، از مردم کمک می‌گرفتم و توسط آنها و به‌خصوص کمک‌های مرحوم نصیری لاری سعی می‌کردیم مشکلات مردم را در روستاها برطرف کنیم شاید همین مسائل سبب علاقه بیشتر مردم به ما شده بود، هرچند که مردم به‌طور کلی ما را به‌عنوان نماینده امام و یک فرد مبارز علیه رژیم دوست داشتند. ساواک هم که متوجه حضور مردم شده بود و از این بابت احساس ترس می‌کرد، مسجد را تعطیل و ما را هم از مدرسه بیرون کرد، ما هم به منزل آقای علمی رفتیم، ساواک نیز برای تهدید به من گفت: «حق نداری از خانه بیرون بیایی.»