不倫は，円満な夫婦関係を壊す行為ですので，法律上は，不倫相手の配偶者に対する共同不法行為となります。また，あなたが婚姻中である場合には，別途離婚原因にもなります。
しかしながら，不法行為というためには，故意（不法行為となることをしっていたこと）や過失（不注意で不法行為をしてしまったこと）が必要ですので，不倫相手に配偶者がいないと思っていた場合や，配偶者との関係はすでに冷え切っており，離婚目前だなどといってあなたを誘ってきたような事情がある場合には，不法行為と評価されない場合もあり得ます。
このような場合には，円満な夫婦関係は存在しない（壊れている）と認識していたのであり，夫婦関係を壊そうとして不倫関係となったのではないという反論が可能なためです。

なお，不法行為が認められた場合には，不倫相手の配偶者に慰謝料を支払わなければなりませんが，不倫相手に対しては，不倫相手の配偶者に支払った金額を，責任に応じて請求することは可能です。一般的には，責任は応分でしょうから2分の1でしょうか。
また，支払わなければならない慰謝料の額は，事案にもよるでしょうが，数百万円になってしまうこともあり得ます。
いずれにしろ，請求された額そのままを支払う必要はありませんので，トラブルに見舞われた場合には，当事務所の弁護士にご相談下さい。