Karaffa János előbb a pozsonyi Komensky Egyetem Karára felvételezett, matematika–fizika szakos tanárnak készült, majd meghallva Isten hívását átjelentkezett a pozsonyi papi szemináriumba.
Másodéves szeminarista korától a budapesti Központi Szeminárium növendéke volt. Itt szerzett teológiai licenciátust, majd doktori címet is. 1997. június 14-én a pozsonyi dómban szentelték pappá.
1997–2017 között számos község lelki gondozását látta el: többek között Komáromban, Székesfehérvárott, Piliscsabán, illetve Baka, Felbár, Nyárasd és Alistál községek lelkipásztora volt. Emellett érseki bíróként is dolgozott Nagyszombatban, illetve püspöki referensként szolgált a Székesfehérvári Egyházmegyében, majd kinevezték a komáromi Boldog Salkaházi Sára Egyetemi Központ lelkészévé.
2014–2016 között a Dunaszerdahelyi esperesség iskolaesperese volt, 2017-től haláláig pedig a pozsonyeperjesi és a dunatőkési híveket szolgálta.
Dunaszerdahely város szülöttje – szülővárosában számos rendezvény megszervezésében vett részt, egész életét szívből fakadó lokálpatrióta hozzáállás jellemezte.
2005-ben paptársaival és civil személyekkel megalapította a Pázmaneum Polgári Társulást, a felvidéki magyar katolikus hívek szolgálatára.
Regnum Marianum Akadémia néven keresztény felnőttképzést indított, emellett pedig a Komáromi Imanapok egyik fő szervezőjeként tevékenykedett. Számos könyv, imafüzet, publikáció szerzője.
A nemzetközi ministránszarándoklatokra örömmel szervezte a felvidéki magyar fiatalokat, hogy eljuthassanak Rómába. Több zarándoklat lelki vezetője volt, számos előadást tartott idehaza és külföldön is. Hűen ápolta Esterházy János emlékét, és a magyar szentek, boldogok tiszteletét. A dunaszerdahelyi labdarúgócsapatnak imát írt, amelyet a stadion kápolnájában helyeztek el. Segítette a felvidéki magyar kispapok tanulmányait. 2006-ban cserkészfogadalmat tett a dunaszerdahelyi 10. sz. Szent György Cserkészcsapatban.
