காளையார் கோவில் என்பது காளீஸ்வரர் கோவில் என்ற பெயரிலிருந்து மருவி வந்ததாகும். சிவகங்கை மாவட்டத் தலைநகரிலிருந்து 18 கி.மீ. தொலைவில், மற்றும் மதுரையில் இருந்து நாற்பது கிலோமீட்டர் தொலைவில் உள்ள கானப்பேரூர் என்று அழைக்கப்பட்ட இடத்தில் காளையார் கோவில் அமைந்துள்ளது. சிவகங்கையின் புகழ் பெற்ற கோயிலாக காளையார் கோயில் விளங்குகிறது. முன் ஒரு காலத்தில், ஆங்கிலேயர் இந்தியாவை ஆண்டு வந்திருந்தபோது காளையார் கோவில் பெரிய வனப்பகுதியாகவே இருந்துள்ளது. அங்கிருந்த பகுதிகள் பாளயக்காரர்களின் ஆதிக்கத்தில் இருந்துள்ளன.
ஆகவே அவர் கண்களை மூடிய பார்வதியின் சாபத்தை விலக்கிக் கொள்ள வேண்டும் எனில் அவள் காளி அவதாரம் எடுத்து சண்டாசுரனை அழித்தால் மட்டுமே மீண்டும் தன்னிடம் வந்து சேர முடியும் என்றார். ஆகவே பார்வதி தேவியும் காளி அவதாரம் எடுத்து சண்டாசூரனுடன் யுத்தம் செய்து அவனை அழித்தாள். அதனால் மனம் மகிழ்ந்த சிவபெருமானும் பார்வதி தேவியின் சாபத்தை விலக்கினார். இப்படியாக பார்வதி தேவி சாப விமோசனம் பெற்ற இடமே காளையார் கோவில் ஆகும். சாப விமோசனம் பெற்ற பார்வதியும் அதே இடத்தில் அதி அழகான பெண்ணாக உருமாறி சிவபெருமானை மீண்டும் மணந்து கொண்டாள். ஆகவே அவளை மணந்து கொண்ட சிவபெருமான் காளியின் அவதார பார்வதியை மணம் செய்து கொண்டதினால் காளீஸ்வரர் என்ற பெயரைப் பெற்றார். தங்கத்தைப் போல மினுமினுத்த அதி அழகான உருவம் பெற்ற பார்வதியும் ஸ்வர்ண சுந்தரி அதாவது அதி அழகானவள் என்ற பெயரில் சிவபெருமானை மணந்து கொண்டாள்.
பின்னர் அங்கேயே காளீஸ்வரர் மற்றும் ஸ்வர்ண சுந்தரிக்கு பாண்டிய மன்னன் ஒருவரால் ஆலயம் எழுப்பப்பட அந்த ஆலயம் ஸ்வர்ண காளீஸ்வரர் ஆலயம் என்றாயிற்று. ஆனால் அந்த ஆலயம் பல போர்களுக்கு இடையே பழுதடைந்து போனதினால் சிவகங்கை சீமையை சேர்ந்த அரசர்களான சின்ன மருது மற்றும் பெரிய மருது என்பவர்கள் ஆலயத்தில் இருந்த மூன்று சன்னதிகளிலும் மண்டபங்களைக் கட்டி ஆலயத்தை விரிவாக்கினார்கள்.
ஆங்கிலேயர் பல இடங்களில் இருந்த பாளையக்காரர்களையும் அழித்து நாடுகளைக் கைப்பற்றி வந்தபோது அவர்களால் சின்ன மருது மற்றும் பெரிய மருது இருவரையும் யுத்தத்தில் தோற்கடிக்க முடியாமல் திணறி வஞ்சகமாக அவர்கள் நாட்டை கைப்பற்றினார்கள். ஆனால் அவர்கள் கையில் சிக்காமல் பெரிய மருது தலைமறைவானார். பெரிய மருது உயிருடன் உள்ளவரை தம்மை மீண்டும் அந்த பூமியை நிம்மதியாக ஆள விடமாட்டார் என பயந்து போன ஆங்கிலேய அரசு அவரைத் தேடியும் அவர் எங்கும் கிடைக்காததினால் அவர் சரண் அடையாவிடில் அந்த ஆலயத்தை இடித்து தரைமட்டம் ஆக்கி விடுவோம் என்று தண்டோரா போட்டு நாடகம் நடத்த, தன்னால் காளீஸ்வரர் ஆலயத்துக்கு எந்த பங்கமும் விளைந்து விடக் கூடாது எனக் கருதிய பெரிய மருது ஆங்கிலேய அரசர்களிடம் சரணடைய வேண்டி இருந்தது. அவரை அவர்கள் உடனடியாக தூக்கில் இட்டார்கள். ஆனால் அவர் ஆசைப்பட்டபடி அவரது சமாதியை ஆலயத்துக்கு முன்னால் அமைத்தார்கள்.
இந்த ஆலயத்தின் எதிரில் பெரிய தெப்பக் குளமும் உள்ளது. அதை உருவாக்கியது தேவேந்திரனின் யானையான ஐராவதம் என்பது புராணக் கதை ஆகும். ஒருமுறை சிவபெருமானின் வாகனமான நந்தீஸ்வரரின் வாலை இழுத்து அவரை தொந்தரவு செய்த ஐராவதத்தை பூமியிலே சென்று தெய்வ யானையாக இல்லாமல் காட்டு யானையாக பிறந்து ஆயிரம் வருடங்கள் அவதிப்பட வேண்டும் என நந்தி தேவர் சாபமிட காளையார் கோவில் ஊர் உள்ள இடத்துக்கு வந்த ஐராவதம் காட்டு யானையாக மாறியது.
தனது கொம்புகளாலேயே குத்திக் குத்தி ஒரு குளத்தை உருவாக்கிய ஐராவதம் அந்த குளத்தில் இருந்து தினமும் நீரை எடுத்து வந்து சிவபெருமானை வணங்கித் துதித்து சாப விமோசனம் அடைந்தது.