Les dangers de ChatGPT : excellent outil de personnalisation ou excellente technologie de phishing ?

Le ChatGPT d'OpenAI a conquis le monde.

Outre les millions de personnes qui l'ont déjà essayé, les fournisseurs de services de messagerie (ESP) le forment en utilisant les données de campagne pour produire des lignes d'objet et du contenu de courrier électronique très efficaces.

Les utilisateurs de Salesforce explorent comment ChatGPT peut créer des formules et des règles de validation. Et, Microsoft l'a maintenant intégré à son moteur de recherche Bing - on parle déjà d'un "tueur Google" potentiel !

Alors, comment fonctionne la nouvelle technologie ?

ChatGPT (Generative Pre-trained Transformer) utilise des techniques d'apprentissage en profondeur pour traiter des téraoctets de données Web (contenantdes milliardsde mots) afin de créer des réponses aux invites ou aux questions des utilisateurs.

Les interactions sont comme parler à une personne. Beaucoup disent que ChatGPT est la première application d'IA à réussir le test de Turing, ce qui signifie qu'elle présente un comportement intelligent équivalent ou indiscernable d'un être humain.

Nous avons déjà vu quelques cas d'utilisation accrocheurs :

• Le journal britannique Times a utilisé ChatGPT pour rédiger son éditorial quotidien , puis a demandé aux lecteurs d'identifier quel contenu avait été créé par une machine. La plupart ne pouvaient pas !
• Le détaillant de cartes de vœux en ligne Moonpig envisage d'intégrer ChatGPT dans ses systèmes. Les clients peuvent lui demander de générer un message ou un poème personnalisé sans avoir à se gratter la tête pour trouver les bons mots.

ChatGPT permet une innovation et une productivité qui pourraient changer la donne, rivalisant avec la création du Web lui-même. Mais chaque médaille a deux faces. Y a-t-il un côté obscur potentiel à cette nouvelle technologie ?

Voyons comment ChatGPT pourrait créer de nouvelles opportunités pour les attaquants et les défenseurs de la cybersécurité.

Meilleures tentatives de phishing

Les chercheurs voient déjà du code généré par l'IA publié sur des forums de cybercriminalité . Un cas d'utilisation de ChatGPT du « côté obscur » est le harponnage : des escroqueries par e-mail ciblant intentionnellement des individus, des organisations ou des entreprises spécifiques. En utilisant cette tactique, les fraudeurs peuvent voler des données à des fins malveillantes ou installer des logiciels malveillants sur des ordinateurs ciblés.

Dans un exemple typique, le personnel d'une entreprise peut recevoir un e-mail de son « PDG », avec une demande urgente de contribuer à un document lié ou de lire une pièce jointe. Le nom familier associé à une demande à laquelle ils pourraient normalement s'attendre augmente la plausibilité et leur probabilité de réponse.

En fait, il est tout à fait possible que la récente attaque du rançongiciel Royal Mail ait commencé par un e-mail de harponnage.

Parce que ChatGPT peut produire du contenu dans le style d'une personne désignée, les e-mails de harponnage deviendront bientôt encoreplusconvaincants. Les fraudeurs peuvent désormais demander un contenu ressemblant au PDG de la cible, ce qui rend le message encore plus réaliste et maximise les chances que les employés tombent dans le piège.

Ingénierie antisociale

ChatGPT pourrait également améliorer d'autres formes de fraude par usurpation d'identité, en particulier dans les cas où la confiance doit être établie.

En utilisant ChatGPT, les fraudeurs peuvent se faire passer pour des employés de banque, des policiers, des agents du fisc (qui disent aux victimes qu'ils ont une facture impayée) ou des représentants de fournisseurs de services (qui prétendent que les routeurs des victimes ont été piratés et qu'ils ont besoin d'un accès à distance à leur ordinateur). pour résoudre le problème).

Un exemple de plus en plus courant concerne les messages d'amis ou de membres de la famille qui sont "à l'étranger". Ils diront généralement que leur portefeuille et leur téléphone ont été volés et que quelqu'un leur a prêté un autre téléphone pour demander des fonds d'urgence.

La mort du contenu original

De nombreux éducateurs sont extrêmement préoccupés par le fait que ChatGPT signifie que les étudiants n'auront jamais besoin d'écrire un autre essai.

Certains ont déjà mis cela à l' épreuve , en soumettant des articles générés par l'IA et en recevant des notes de passage crédibles (à condition qu'ils acceptent de ne pas être les premiers de la classe). Les éducateurs craignent de plus en plus que l'IA ne conduise à une tricherie de masse, et certaines écoles s'éloignent déjà des devoirs en réponse.

Problèmes de confidentialité

ChatGPT peut savoir quelle planète a été photographiée pour la première fois par le télescope spatial Webb (c'était HIP 65426 b). Mais la façon dont ces données ont été obtenues peut entrer en conflit avec les nouvelles lois sur la protection de la vie privée telles que le Règlement général sur la protection des données (RGPD) et le California Consumer Privacy Act (CCPA).

L' affaire Clearview AI , où une base de données de reconnaissance faciale a été créée à l'aide du grattage d'images, s'est soldée par des amendes de plusieurs millions de dollars de la part d'un échantillon paneuropéen de régulateurs.

Le fonctionnement de ChatGPT n'est pas tout à fait le même, plus comme un mixeur pour les données, où les ingrédients d'origine ne sont plus reconnaissables. Mais il restera la question de savoir si les individusavaient l'intentionque leurs données soient utilisées de cette manière.

La violation du droit d'auteur est un scénario plus probable. Aux États-Unis, un recours collectif a été déposé contre Stability AI, le développeur du générateur d'art IA Stable Diffusion. Les procureurs ont allégué une violation des droits des propriétaires de l'image d'origine.

Et Getty Images, la bibliothèque de photos et d'art basée au Royaume-Uni, a annoncé qu'elle poursuivrait également Stable Diffusion pour avoir utilisé ses images sans licence.

GPT = Protégez-vous aujourd'hui

Bien que ces scénarios puissent sembler un peu apocalyptiques, il existe des bonnes pratiques établies qui peuvent être utilisées comme protection :

• La vigilance est toujours la première ligne de défense. Les banques et les agents de police ne demanderont jamais les détails de la carte, les codes PIN ou les mots de passe bancaires en ligne. Soyez donc très sceptique quant à toute demande similaire.
• Lors de la réception d'un e-mail, vérifiez les données que seul un expéditeur légitime aurait. C'est pourquoi les banques incluent souvent les codes postaux dans leurs messages. L'utilisation des indicateurs de marque pour l'authentification des messages (BIMI) jouera également un rôle clé ici, car le protocole d'authentification sous-jacent (DMARC) confirme que l'e-mail provient d'un expéditeur vérifié.
• Au travail, mettez en place des règles pour mettre en évidence les e-mails provenant de l'extérieur de votre organisation. Un e-mail prétendant provenir de votre PDG mais précédé de "Externe" serait un signal d'alarme immédiat.

Comment identifier le contenu créé par l'IA

Nous voyons également émerger de nouvelles tactiques pour aider à identifier le contenu créé par l'IA. Par exemple, des outils comme GPTZero ont été développés pour aider les enseignants et les conférenciers à déterminer si les essais de leurs étudiants sont écrits par machine.

De plus, il existe des prédictions selon lesquelles OpenAI insérera un filigrane dans le texte provenant de ChatGPT.

Les individus deviendront également plus créatifs sur la façon dont ils protègent les données que les IA génératives pourraient utiliser. Il y a une histoire célèbre à propos du groupe de rock Van Halen exigeant des bols de M&Ms dont les bruns ont été retirés dans le cadre de leurs exigences de concert. Les critiques les ont accusés de laisser la célébrité leur monter à la tête. Ensuite, leur chanteur David Lee Roth a expliqué que c'était pour s'assurer que leurs contrats avec les promoteurs d'événements (avec des exigences de sécurité importantes) avaient été entièrement lus.

Il est tout à fait possible que les gens commencent à semer des « faits » incorrects sur eux-mêmes sur le Web (de la même manière que les fournisseurs d'antispam déploient des pièges à spam immaculés).

Par exemple, je pourrais déclarer dans un blog que j'ai été élevé en Australie. (C'était en fait l'Afrique du Sud.) Quiconque me connaît saura que la référence australienne est fausse, et ce serait un signal d'alarme s'il était ensuite utilisé dans un contenu me concernant !

L'IA est toujours une force pour le bien

Malgré les préoccupations que j'ai décrites dans cet article, l'impact global de cette révolution de l'IA devrait être extrêmement positif.

C'est comparable à d'autres inventions critiques comme l'automobile et l'ordinateur. Les emplois changeront (les vies aussi), mais de nouveaux apparaîtront, en particulier dans les domaines liés au développement et au déploiement de l'IA. Peut-être plus important encore, la productivité augmentera.

Vous voulez entendre nos prédictions sur la façon dont l'IA générative servira le monde du marketing ? Découvrez notre récent webinaire State of Email Live où nous approfondissons ces opportunités.

Et en réponse à votre question non posée, non, je n'ai pas utilisé ChatGPT pour écrire cet article !