KI-Sicherheitsrisiken entstehen durch die Implementierung und/oder Nutzung von KI-Technologie.?Hierzu geh?ren auch von b?swilligen Akteuren initiierte Cyberattacken und Schwachstellen, die sich aus der Plattform und/oder dem Verhalten der Anwender ergeben.
Das Open Worldwide Application Security Project (OWASP) hat eine Reihe von Schwachstellen im Zusammenhang mit KI identifiziert, die auf Large Language Models (LLMs) basieren. Hierzu geh?ren:
Diese Schwachstellen k?nnen in folgende zentrale Kategorien eingeteilt werden:
KI h?ngt in hohem Ma?e von den verfügbaren Daten und den Anwendereingaben ab. Daher wird sie immer h?ufiger zum Ziel b?swilliger Akteure, die digitale Abwehrmechanismen durchbrechen und vertrauliche Informationen abgreifen. Eine aktuelle Gartner?-Umfrage hat im ersten Quartal 2024 die fünf am h?ufigsten genannten neuen Risiken ermittelt. Die beiden ersten Pl?tze belegen KI-bezogene Risiken in Form KI-gestützter b?sartiger Angriffe und KI-gestützter Desinformation. Gartner merkt an, dass die KI-Verbesserung Phishing und Social Engineering vereinfachen kann. Sie erleichtert das Eindringen, verbessert die Glaubwürdigkeit und erm?glicht sch?dlichere Angriffe.
Von Rogue AI spricht man, wenn eine KI gegen die Ziele des Anwenders agiert. Diese fehlerhafte Ausrichtung kann unbeabsichtigt herbeigeführt werden, wenn beispielsweise keine geeigneten Leitplanken vorhanden sind. Sie kann aber auch vors?tzlich herbeigeführt werden. In diesem Fall versuchen b?swillige Akteure m?glicherweise, das KI-System bzw. die KI-Nutzung ihres Ziels zu unterwandern. Oder sie versuchen, b?swillig ausgerichtete KI-Modelle in einer Umgebung zu installieren.
Bei der Betrugsautomatisierung werden synthetische Text-, Audio- und/oder Videoinhalte erstellt. Diese nutzen durch Phishing, Business Email Compromise (BEC) oder Deepfake-Videos oder -Audios Gesch?ftsprozesse aus. Betrugsautomatisierung l?sst sich mit KI problemlos skalieren.
KI-Systeme sind datenabh?ngig. Daher müssen die in KI-Systemen verwendeten Daten sowie alle Live-Daten, mit denen sie in Kontakt kommen, s?mtliche Vorschriften für den Datenschutz und die angemessene Verwendung erfüllen. Daraus ergibt sich die Notwendigkeit einer proaktiven und effektiven Data Governance, die zur Risikominimierung beitr?gt.
Die kritischsten Schwachstellen im Zusammenhang mit LLMs werden in den OWASP Top 10 aufgeführt:
Eine ?bersicht dieser Schwachstellen finden Sie .
Generative KI (GenAI) nutzt verfügbare vergangene und gegenw?rtige Daten, um Anwender zu unterstützen. Daher sollten Sie bei Tools, die ein Prompting erfordern, sorgf?ltig und proaktiv darüber nachdenken, was Sie als Prompt eingeben. Einige Tools bieten Anwendern die M?glichkeit, die Datenerfassung zu deaktivieren. So bietet beispielsweise ChatGPT die Option, den Chatverlauf zu deaktivieren. Abh?ngig von den für die jeweilige Branche geltenden KI-Regulierungen und -Nutzungsrichtlinien k?nnen solche Pr?ventivma?nahmen und/oder Verhaltensweisen eine Compliance-Voraussetzung bilden.
Wenn Finanzinformationen, vertrauliche Angaben zu noch unver?ffentlichter Software, personenbezogene Daten wie Privatadressen und Kontaktdaten und/oder andere sensible Daten eingegeben werden, führt dies dazu, dass die KI-Anwendung freien Zugriff auf diese Informationen erh?lt. Die Gefahr besteht, dass diese Daten manipuliert werden, durch das Tool bei ?hnlichen Abfragen als Empfehlung an andere weitergegeben und/oder durch b?swillige Akteure gestohlen werden, falls die Ma?nahmen für den Schutz der KI durchbrochen werden. Dieses Risiko besteht insbesondere dann, wenn zur Unterstützung der Ideenfindung oder für das schnelle Zusammenstellen gro?er Datenmengen generative KI-Tools eingesetzt werden. Die Gefahr besteht insbesondere dann, wenn keine ausreichenden Verschlüsselungs- und Sicherheitsma?nahmen etabliert sind.
Als eine Form generativer KI, die textbasierte Antworten auf Anwender-Prompts liefert, kann ChatGPT von b?swilligen Akteuren dahingehend manipuliert werden, dass es Phishing-Versuche verschleiert und/oder verst?rkt. Alternativ kann auch die Plattform als solche zum Ziel von Angriffen werden, die Zugriff auf Anwenderdaten erhalten und diese potenziell missbrauchen wollen. Dazu geh?rt beispielsweise das Verfassen von Phishing-E-Mails unter Verwendung von Textproben des angegriffenen Unternehmens oder der angegriffenen Person. Dazu geh?rt auch die Korrektur von Tippfehlern, der Grammatik und der Ausdrucksweise, um überzeugender zu wirken. Au?erdem besteht die Gefahr des Diebstahls von Anwenderdaten und/oder von Verst??en durch Prompt Injection oder Jailbreaking.
Weitere Sicherheitsrisiken k?nnen sich auch aus der Nutzung ergeben, ohne direkte Beteiligung b?swilliger Akteure. So k?nnen beispielsweise Informationen, die Sie ChatGPT bereitstellen, zum Trainieren von LLMs genutzt werden. Darüber hinaus besteht das Risiko unzureichender Datenverschlüsselung, wie die Tatsache belegt, dass die MacOS-App von ChatGPT .
Die OpenAI-API als solche bietet das Potenzial, zum Ziel von Cyberkriminellen zu werden. Auch wenn sie SOC-2-konform ist und regelm??igen Penetrationstests unterzogen wird, besteht ein konstantes Risiko, da sich Cyberbedrohungen st?ndig weiterentwickeln. In einem aktuellen Artikel von Soft Kraft werden die detailliert untersucht und fünf Risiken vorgestellt, die für Unternehmensanwender von besonderem Interesse sind:
Dank der Unterstützung für Microsoft 365-Anwendungen ist Microsoft Copilot AI für Anwender sofort verfügbar. Darüber hinaus werden die neuesten PCs der Marke Copilot+ auf Hardwareebene mit dedizierten physischen Copilot-Tasten ausgeliefert, die eine noch schnellere Anwendereingabe erm?glichen. Genau wie bei anderen generativen KI-Tools k?nnen diese optimierten Zugriffsm?glichkeiten Sicherheitsrisiken mit sich bringen, wenn darüber vertrauliche Informationen für Copilot zug?nglich gemacht werden. Auch wenn Berechtigungen nicht korrekt festgelegt wurden oder wenn für KI-generierte Dokumente nicht die passenden Datenschutzeinstellungen aktiviert wurden, kann dies zum Abfluss vertraulicher Daten und/oder zu Datenschutzverletzungen führen. Dasselbe gilt für die Verwaltung des Anwenderzugriffs. Letztlich k?nnten Angriffe auf die Plattform als solche b?swilligen Akteuren die M?glichkeit er?ffnen, die Art und Weise zu ?ndern, wie der Zugriff auf Ihre Daten und deren Freigabe erfolgt.
Der KI-Hub von Trend bringt innovative Technologie und erstklassige Sicherheit zusammen. Informieren Sie sich, wie KI Sicherheitsteams in die Lage versetzt, Bedrohungen zügig zu prognostizieren, zu antizipieren und zu erkennen. Prüfen Sie regelm??ig, welche aktuellen Ressourcen zum transformativen Einfluss von KI auf die Cybersicherheit es gibt. Sie helfen Ihnen dabei, neuen Bedrohungen einen Schritt voraus zu bleiben und KI-L?sungen sicher zu implementieren.
Weiterführende Forschung
Weiterführende Artikel