Also nur weil er mal woanders gestreichelt wird wandert der nicht ab. Wenn er abwandert, dann hat das andere Gründe.
So ziemlich alle Katzen die ich in meinem Leben kennengelernt habe haben die Nachbarn besucht. Und so gut wie alle sind trotzdem wieder nach Hause gekommen. Einzige Ausnahme war eine Katze, der es eindeutig bei den einen Nachbarn besser gefallen hat als bei uns. Die wurde zig mal zurückgebracht/von uns geholt. Ohne Erfolg. Sie wollte lieber dort (war Verwandtschaft, also ganz gut gemeinsam zu lösen) leben und wir haben ihr das dann halt gelassen. Für uns war das natürlich traurig, aber wenn sie es unbedingt so will? Woran es lag darüber kann ich nur spekulieren, ich vermute aber, dass es ihr bei uns zu "unruhig" war und zu unsicher. Ich (damals sowas wie 6 Jahre alt) bekam dann ein Junges von ihr, weil ich so traurig darüber war. Und das Katerchen fand es bei uns prima, obwohl auch er jederzeit dort hin konnte und auch auf Besuch dort hin gegangen ist. Aber er kam trotzdem immer wieder.
Ich würde mir da also gar nicht so einen Kopf machen, solange er sich bei Euch wohl fühlt kommt er auch wieder. Und wenn er das nicht tut, dann würde ich schauen woran das eventuell liegt und mich um Verbesserung bemühen.