Vertrauen, Risiko und Sicherheit in KI-Modellen

Von Lori Perri | Lesezeit: 4 Minuten | 5. September 2023

Das große Ganze

Sechs Gründe für die Integration von AI TRiSM in KI-Modelle

Generative KI hat das Interesse an Prototypen für künstliche Intelligenz geweckt, doch oft bedenken Unternehmen die Risiken erst, wenn KI-Modelle oder -Anwendungen bereits eingesetzt oder produziert werden. Mithilfe eines umfassenden KI-Programms für das Vertrauens-, Risiko- und Sicherheitsmanagement (TRiSM) können Sie die dringend benötigte Governance schon vorab integrieren und proaktiv sicherstellen, dass KI-Systeme gesetzeskonform, fair und zuverlässig sind und entsprechende Datenschutzrichtlinien einhalten.

Wenn Sie an der Notwendigkeit von AI TRiSM zweifeln, dann sollten Sie sich diese sechs Risikofaktoren bewusst machen, denn viele davon sind darauf zurückzuführen, dass die Benutzer nicht verstehen, was in den KI-Modellen wirklich vor sich geht.

1. Die wenigsten können Führungskräften, Nutzern und Verbrauchern von KI-Modellen erklären, was KI eigentlich ist und leistet.

  • Erklären Sie nicht nur KI-Begriffe, sondern seien Sie in der Lage, Folgendes darzulegen:

    • Einzelheiten oder Gründe, die für eine bestimmte Zielgruppe verdeutlichen, wie ein Modell funktioniert

    • die Stärken und Schwächen des Modells

    • wie es sich wahrscheinlich verhält

    • mögliche Vorbehalte

  • Stellen Sie die für das Training verwendeten Datensätze und die für die Auswahl der Daten verwendeten Methoden zur Verfügung, wenn Sie diese Information zur Hand haben.

2. Jeder hat Zugang zu ChatGPT und sonstigen generativen KI-Tools.

  • GenAI kann zwar die Art und Weise verändern, wie Unternehmen miteinander konkurrieren und ihre Tätigkeiten durchführen, aber sie birgt auch neue Risiken, die mit herkömmlichen Kontrollmechanismen nicht umgangen werden können.

  • Insbesondere sind die mit gehosteten, cloudbasierten generativen KI-Anwendungen verbundenen Risiken erheblich und entwickeln sich schnell weiter.

3. KI-Tools von Drittanbietern stellen ein Datenschutzrisiko dar.

  • Wenn Ihr Unternehmen KI-Modelle und -Tools von Drittanbietern einführt, übernehmen Sie auch die großen Datensätze zum Trainieren dieser KI-Modelle.

  • Ihre Nutzer greifen möglicherweise auf vertrauliche Daten in den KI-Modellen von Dritten zu, wodurch sich rechtliche, wirtschaftliche und rufschädigende Folgen für Ihr Unternehmen ergeben könnten.

Bis 2026 werden KI-Modelle von Organisationen, die KI-Transparenz, Vertrauen und Sicherheit operationalisieren, eine Verbesserung von 50 % hinsichtlich der Einführung, Geschäftsziele und Benutzerakzeptanz erreichen.

Quelle: Gartner

4. KI-Modelle und -Anwendungen müssen ständig überwacht werden.

  • Damit KI konform, fair und ethisch vertretbar bleibt, müssen spezialisierte Risikomanagementprozesse in den KI-Modellbetrieb (ModelOps) integriert werden.

  • Da es aber kaum Standardtools gibt, müssen Sie wahrscheinlich maßgeschneiderte Lösungen für Ihre KI-Pipeline entwickeln.

  • Die Kontrollen müssen kontinuierlich durchgeführt werden, beispielsweise während der Modell- und Anwendungsentwicklung, der Test- und Bereitstellungsphase und des laufenden Betriebs.

5. Um Angriffe auf KI zu erkennen und zu stoppen, sind neue Methoden erforderlich.

  • Böswillige Angriffe auf KI (sowohl auf eigens entwickelte Modelle als auch auf Modelle von Drittanbietern) verursachen verschiedene Arten von Schäden und Verlusten für Unternehmen, etwa in finanzieller Hinsicht, in Bezug auf das Image oder auf geistiges Eigentum sowie personenbezogene oder geschützte Daten.[

  • Führen Sie zusätzlich spezialisierte Kontrollen und Verfahren zur Prüfung, Validierung und Verbesserung der Robustheit von KI-Workflows ein, die mehr bieten als die für andere Arten von Anwendungen verwendeten Methoden.

6. Demnächst werden Vorschriften zur Compliance-Kontrolle erlassen.

  • Das Gesetz über Künstliche Intelligenz der EU und weitere Rechtsrahmen in Nordamerika, China und Indien legen bereits Vorschriften für den Umgang mit den Risiken von KI-Anwendungen fest.

  • Sie sollten sich auf die Einhaltung von Vorschriften einstellen, die über das hinausgehen, was bereits erforderlich ist, beispielsweise in Bezug auf den Schutz der Privatsphäre.

Die Geschichte hinter der Forschung

Vom Schreibtisch von Avivah Litan, Gartner Distinguished VP Analyst

„Unternehmen, die KI-Risiken nicht konsequent managen, sind exponentiell anfälliger für negative Folgen wie Projektausfälle und -verstöße. Ungenaue, unethische oder unbeabsichtigte KI-Ergebnisse, Prozessfehler und Eingriffe durch böswillige Akteure können zu Sicherheitsmängeln, finanziellen und Reputationsverlusten oder -haftungen sowie gesellschaftlichen Schäden führen. Außerdem können KI-Fehlleistungen zu suboptimalen Geschäftsentscheidungen führen.“

Drei Dinge, die Sie Ihren Kollegen mitteilen können

1

Die AI-TRiSM-Funktionen sind nötig, um Zuverlässigkeit, Vertrauenswürdigkeit, Sicherheit und Datenschutz der KI-Modelle zu gewährleisten.


2

Sie fördern bessere Ergebnisse in Bezug auf die Einführung von KI, das Erreichen von Geschäftszielen und das Gewährleisten der Benutzerakzeptanz.


3

Betrachten Sie AI TRiSM als Lösungspaket, mit dem Sie die Bereitstellung von KI effektiver schützen und eine KI-Governance etablieren können.

Diesen Artikel teilen

Avivah Litan ist angesehene VP-Analystin bei Gartner Research. Derzeit ist Litan Mitglied des ITL AI-Teams, das sich mit AI und Blockchain befasst. Sie ist die führende Gartner-Analystin, die die Berichterstattung über AI Trust Risk und Sicherheit begonnen hat und weiterführt, was seit der Einführung von ChatGPT stark nachgefragt wird. Litan unterstützt auch die Abdeckung der Nutzung von AI, einschließlich Generative AI, in der Cybersicherheit. Sie ist spezialisiert auf alle Aspekte der Blockchain-Innovation, von Anwendungsfällen, Sicherheit und aufkommenden Technologien. Sie hat einen Background in vielen Aspekten der Cybersicherheit, einschließlich der Integration von AI. Bevor sie zu Gartner kam, arbeitete Litan als Direktorin für Finanzsysteme bei der Weltbank. Sie arbeitete auch als Journalistin und Kolumnistin für die Washington Times. Sie erwarb ihren Master of Science am M.I.T. und absolvierte einen General-Manager-Kurs an der Harvard Business School.

Steigern Sie die Leistung hinsichtlich Ihrer unternehmenskritischen Ziele.