So einfach wie Stupser sich das vorstellt geht es nicht. Der Switch ist nicht nur eine rein elektrische Verbindung, sondern in dem Gerät steckt ein Stück komplexe Elektronik das die Daten "hin und her schubst"
Du müsstst ein extra Kabel legen, das parallel zum Telefon an der FritzBox angeschlossen wird, dann ginge es.
Oder eben ein zweites Handgerät aschaffen.
Welche FritzBox hast du genau?
Aldi Süd hat die Tage wieder DECT-Telefone, die betreibe ich hier bei mir probelmlos an einer 7270 V3.