Храм расположен на небольшом холме примерно в 1,5 км к западу от центральной площади-перекрёстка Варкалы. Служащая воротами восточная башня архитектурно привлекательна.

   В строфе 67 «Уннунили сандесом», стихотворении, написанном в виде послания, написанном в период 525-540 ME, есть упоминание храма Свами Джанардханы в Варкале, что подтверждает тот факт, что храм был известным даже в то время.

   Этот храм является одним из самых известных вайшнавских храмов в Индии. Он также известен как «южный Варанаси». Согласно индуистской мифологии, это то самое место, где когда-то «валкалам» (одежда, сделанная из коры дерева) был сброшен вниз мудрецом Нарадой, когда он направлялся на небо. Он упал на землю в этом месте. Таким образом, это место стало известно как «Валкалам», позднее из-за частого использования название сократилось до формы «Варкала».

   Легенда звучит так. Однажды мудрец Нарада (божественный певец), распевая песни в честь бога Нараяны, отправился на небеса. Махавишну, которого привлекла эта песня, последовал за Нарадой. Как только Нарада приблизился к небу и оказался перед своим отцом Брахмой, он в благоговейном приветствии сложил руки. Но Брахма не заметил своего сына. Его внимание было обращено на Махавишну. Брахме так понравилось присутствие Махавишну, что Он склонился перед Ним. Но боги ошибочно посчитали, что Брахма склонился перед своим сыном Нарадой, и они позволили себе высмеять Брахму. Это привело Творца в ярость, и он проклял богов (девов), приказав им отправиться на землю и родиться людьми. Брахма исчез вскоре после своего вердикта. Боги были шокированы, когда поняли, что они находятся под серьёзным проклятием. Проклятые боги стали сожалеть и хотели просить об искуплении, но Брахмы уже не было рядом. Нарада сочувствовал богам и испытывал беспокойство, когда думал, что он является причиной всех этих неприятных событий. Поэтому он решил помочь богам во что бы то ни стало. Он снял свой валкалам и бросил его на землю. Нарада посоветовал богам отправиться на землю туда, где упал его валкалам, и получить искупление проклятия, поклоняясь богу Свами Джанардхана.

   Таким образом, боги пришли в Варкалу, переродились и стали людьми. Они стали поклоняться Махавишну. В конце концов Он вернул на поверхность храм, который когда-то был погружён в море. Каким образом храм Свами Джавардханы погрузился в море? Это ещё одна история. В легенде говорится, что Шри Кришна победил демонов, известных как «джананс», которые жили посреди моря. В результате в море поднялись такие огромные волны, что они заставили уйти на дно храм Свами Джавардханы.

   Махавишну был так доволен богами, что утешил их, сказав им, что скоро их проклятие будет снято.

   К этому времени в Варкале ощущался крайний дефицит воды. Чтобы исправить эту ситуацию, Махавишну швырнул свою чакраюдху на землю. То место, где она упала, превратилось в источник, известный как «чакра-тиртха». В Варкале есть ещё один святой источник, который известен как «папанасам». Говорят, что когда Брахма успокоился, Он сжалился над богами и обеспечил их этим источником воды.

   Пляж Папанасам известен тем, что здесь проводится «вавубали», жертвоприношения духам усопших, в месяц «каркадаком» (июль / август) в день новолуния. Каждый год люди отовсюду приходят в это место и приносят свои жертвоприношения (еда, благовония и пр.) душам своих покойных близких.

   Историки зафиксировали, что храм был построен раджой Пандья. В 3-м веке, когда территорией Тамилнада правил Недумчежиан, наиболее знаменитый царь и истовый преданный Махавишну, правитель принял решение построить храм. Считается, что царь Пандья услышал внутренний божественный голос, призвавший его построить храм вместо предыдущего, который уже погрузился в море. После завершения строительства храма солдаты царя повсюду искали подходящее мурти (статую), которую следовало установить в алтарной комнате храма. В конце концов они подняли такую статую со дна моря, и она была помещена в алтарную с надлежащими тантрическими ритуалами.

   По самому имени можно понять, что же это за главное божество храма. Слово «Джанардхана» можно применить как к Маха Вишну, так и к воплощению Вишну, Шри Кришне. Джанардхана означает «тот, кто уничтожает нечестивых».

   Шри Нараяна Гуру Дева основал два ашрама, один в Шивагири в Варкале, а другой в Алуве. Обеими управляют саньясины, которые отреклись от всех мирских удовольствий. Мандапам (прихрамовый зал) самадхи (места упокоения) Шри Нараяны Гуру также находится в Шивагири. В течение года большое количество преданных посещают как храм, так и мандапам самадхи.

   У большого колокола в храме Свами Джанардханы имеется своя история. На нём отмечено число 1757. Это чёткое указание на год, в котором был установлен колокол. Говорят, что колокол был предложен храму в качестве подарка голландскими мореплавателями. Возможно, они могли посчитать божество неким морским богом, и они решили, что их корабли будут в безопасности в руках Господа Свами Джанардханы.

   Канвамамала — ещё один небольшой холм возле монастыря Шивагири в Варкале. Считается, что на вершине этого холма мудрец Канва совершал суровую аскезу и жертвоприношения, свидетельства которых всё ещё можно увидеть на этом месте.

   В Варкале очень много интересных мест для туристов. Можно посетить храм Свами Джавардханы и монастырь в Шивагири с местом cамадхи Шри Нараяны Гуру. Морское побережье Папанасам является одним из редких морских скалистых пляжей в мире. «Варкала тхурангам» — подземный туннель для водного транспорта – свидетельство инженерных работ в прошлом. Это живописное место также является санаторно-курортным центром.