Müssen nicht, ob du das mal willst, weiß ich ja nicht. Ein Fall es wissen zu wollen, wäre unterscheiden zu können, welche Mails wirklich von jemanden kommen, der selber verschlüsselt. In deinem Fall wärest du es ja über addy.io selber.
Der private Guardschlüssel liegt auf den Mailboxservern. Ob man das als Nach- oder Vorteil sieht, liegt an dir und dem Vertrauen in deiner Kompetenz und Fähigkeiten. Beim Guard geht es ja vor allem darum, die Mails über den Webmailer verwalten zu können.
Wie Mailbox.org deinen privaten Guardschlüssel sichert, kannst du hier lesen.
https://kb.mailbox.org/de/privat/verschluesselung-mit-mailbox-org-guard-pgp-und-smime/wie-der-private-schluessel-geschuetzt-wird
Es gab hier im Forum auch schon Diskussion in wie weit IMAP ein Sicherheitsrisiko ist, wobei auch 2FA und Apppasswörter eine Rolle spielen. Bei den folgenden verlinkten Beiträgen zu diesem Thema beachte bitte, dass gerade das Thema Apppasswörter und 2FA nicht den jetzigen Stand bei Mailbox.org entsprechen müssen:
https://www.kuketz-forum.de/t/imap-sicherheit-und-mailbox-org/5638/13
https://www.kuketz-forum.de/t/verschluesselte-e-mail-postfaecher/5952/22
https://www.kuketz-forum.de/t/app-passwoerter-sinnvoll/6832/13