Der EU AI Act

SASCHA

zur vierten Episode von AI in Finance, dem Unplugged-Podcast von Maik Klotz und mir, Sascha Dewald, zum Thema künstliche Intelligenz im Zahlungsverkehr und im Banking. Und wie in unserer letzten Umfrage auf LinkedIn von euch gewünscht, widmen wir uns heute mal dem Thema AI Act. Und bevor wir das Thema durchleuchten und etwas beleuchten, starten wir mit den News. und etwas starten Maik, wir mit den beleuchten, News. let's go! Maik,

MAIK

hallo auch von meiner Ja, lieber Sascha. Seite, Da hast du uns ein richtiges Ei ins Nest gelegt mit deiner Umfrage. Wir haben ihr gefragt, habt geantwortet und habt euch ausgerechnet das Komplexeste aller Themen rausgesucht. Aber wenn ihr dann folgen wir und wir widmen uns heute dem AI-Act. ruft, Aber bevor wir uns genau diesem widmen, die aktuellen News und die habe ich mitgebracht. Fangen wir an mit einer Entwicklung in den letzten Wochen und Tagen, nämlich Google. Google Bart heißt jetzt nicht mehr Google Bart, sondern Gemini. Ich habe es richtig ausgesprochen, stimmt's Sascha?

SASCHA

Nein, hast du nicht. Du weißt aber mittlerweile selber, wir haben ja auch drüber geredet, das ist das schöne Gemini. Und da steckt nämlich AI drin. Genau wie in Maik.

MAIK

da steckt nämlich

MAIK

Und was ist an Google Gemini so interessant? Nämlich die Tatsache, dass sie jetzt aufgeholt haben, laut den Benchmarks, nämlich soll Gemini so gut sein wie Chat-GBT in der Version 4. Ich habe das mir mal ein bisschen angeschaut und kann sagen, ja, das ist schon ganz okay. Bin aber immer noch, ich weiß nicht, wie du es siehst, ich bin immer noch bei Perplexity, weil sie irgendwie alle LLMs unter einem Hut versammeln und nutzen es irgendwie häufiger.

SASCHA

Ja, ist bei mir ähnlich, ehrlicherweise. Ich habe so die letzte Woche mal Revue passieren lassen und ich glaube, ich habe ein oder zwei Anfragen über ChatGBT so ein bisschen DALI gemacht, weil ich DALI immer noch am schönsten finde als Bildgenerierungssoftware, aber der Rest einfach komplett in Perplexity.

MAIK

muss ich widersprechen. Ich bin ja so ein Mid-Journey-Fan, aber sei es drum. Wer Lust hat, sich Gemini mal anzuschauen, kann das tun. Es gibt gerade eine aktuelle Probe- oder Testversion. Zwei Monate kann man das kostenlos testen. Macht euch ein eigenes Bild. Dann gab es einen interessanten Leak auf Huggingface. Dort wurde nämlich von einem französischen, Sascha wird mich jetzt gleich korrigieren, Startup namens Mistral, ein LLM geleakt. Und das Interessante daran ist, dass dieses LLM, was dort veröffentlicht wurde, sehr, sehr, sehr performant und sehr mächtig sein soll und tatsächlich so gut wie ChatGVT in der Qualität und vor allen Dingen, und jetzt macht es das nämlich so spannend, das ganze Thema soll als Open Source veröffentlicht werden. Damit hätten wir zwei große Open Source Modelle neben dem von Meta. Und du sagst mir jetzt, dass das gar kein kleines Startup ist.

SASCHA

Es ist wahrscheinlich. Also ich glaube, offiziell gehen die noch als Startup durch, weil die ja auch noch gar nicht so richtig alt sind. Aber kurz vor Weihnachten hatten die eine Finanzierungsrunde von knapp 400 Millionen Euro. Und wir wollen das natürlich alles in Technologie und Open Source jetzt auch stecken, aber versuchen ganz klar so der europäische Konkurrent von OpenAI zu werden und messen sich gerade so ein bisschen mit Aleph Alpha zum Beispiel aus Deutschland.

MAIK

Ja, und wie gesagt, als Open Source, ich bin gespannt, was wir da noch sehen werden. Aber auch von JetGBT gab es Neues, nämlich Chat-GBT 4.0. Der Turbo-Mode wurde gelauncht und vor allem GBT-Mentions. Man kann also jetzt in seinem Chat-Verlauf weitere GBTs einfach hinzufügen. Ich finde es okay. Ich weiß nicht, hast du es dir mal angeschaut?

SASCHA

Noch nicht, ehrlicherweise. Ich habe es auf meiner Liste. Bisher habe ich viel mit den eigentlichen GPTs rumgespielt, aber die habe ich noch nicht über die Menschenfunktion miteinander verbunden.

MAIK

okay. Also ich finde es jetzt nicht so ein Riesending. Wahrscheinlich kann man ganz tolle Sachen machen, die wir noch nicht herausgefunden haben. Aktuell, ja. Schauen wir mal, wie es da weitergeht. Dann fand ich ganz interessant, dass was Amazon gelauncht hat. Amazon als großer Tech-Giant und E-Commerce-Player hat nämlich einen Assistenten herausgebracht mit dem sehr eigenartigen Namen Rufus. Ich muss dann immer an Frankenstein denken. Rufus ist aber ein smarter Assistent, in den USA zumindest, der den Menschen dabei helfen soll, ich sage es mal höflich, Kaufentscheidungen zu treffen. Anders als bei einer reinen Produktsuche kannst du nämlich danach suchen, was für ein Problem du lösen möchtest und Rufus bietet dir die passenden Produkte dazu an. Fairerweise muss man dazu sagen, es ist nicht nur quasi eine Suchmaschine für Produkte, sondern auch im After Sales kann man sich Support geben lassen, Hintergrundinformationen zu den Produkten. Interessante Entwicklung und bin auch da gespannt, was es da noch in Zukunft gehen wird. Den ein oder anderen E-Commerce-Player in Europa haben wir ja auch. Ja, dann wir hatten ja letzte Woche, war ja dein persönliches Highlight, die Apple Vision Pro. Ich gucke da ja nach wie vor skeptisch drauf. In dem Zusammenhang muss man aber sagen, dass mein Eindruck ist, dass im Bereich der KI Apple momentan noch so ein bisschen im Hintergrund agiert. Was man mitbekommt ist, dass sie ganz viel kaufen. Also sie sind gerade auf Einkaufstour und es werden ganz, ganz viele Unternehmen gekauft, die sich mit dem Thema beschäftigen und angeblich soll mit iOS 18 ein ganz, ganz großer Wurf im Bereich AI kommen. Wir schauen mal.

SASCHA

Ja, ich glaube, deren M&A-Abteilung hat gerade richtig Spaß und Tim Cook hat da, glaube ich, die Brieftasche weiter aufgemacht, denn die kaufen tatsächlich alles weg vom Markt, was an KI-Startups unterwegs ist, aber auch tatsächlich an Entwicklern, an KI-Forschenden und viele Data-Scientisten.

MAIK

Ja, und ehrlicherweise müssen sie das auch. Also wir haben das ja bei Google erlebt. Also ich glaube, diese ganze Entwicklung, die wir in den letzten 18 Monaten mit OpenAI erlebt haben, da sind ganz, ganz viele, die auf den falschen Fuß erwischt worden sind. Der gute kalte Fuß. So sieht es aus. Wir haben in den letzten Tagen und Wochen leider den einen oder anderen mal wieder Deepfake-Skandal erlebt. Taylor Swift, du als großer Taylor Swift-Fan, hast du ja auch mitbekommen mit den vielen Bildern, die da gekommen sind. Um dem so ein bisschen Einhalt zu geben, hat OpenAI unter anderem, nicht nur OpenAI, aber OpenAI insbesondere angekündigt, dass mit KI generierte Bilder künftig mit einem Wasserzeichen versehen werden. Passt auch glaube ich zu unserem Thema, wo wir ja gleich drüber sprechen, nämlich dem OpenAI Act. Ja, vielleicht

SASCHA

noch kurz zu dem Wasserzeichen. Also das auf der einen Seite ist es natürlich irgendwie gut und greift so ein ganz kleines bisschen diesem AI auch vor, weil gewisse Transparenzpflichten hier erfüllt werden und OptMyEye quasi schon den ersten Schritt geht. Auf der anderen Seite habe ich jetzt in der Vorbereitung auch schon ein LLM gefunden, was sich darauf spezialisiert, die Wasserzeichen quasi wieder rauszurechnen, damit du dir doch wieder quasi deine Bilder selbstständig erstellen und entsprechend bearbeiten kannst und nicht durch ein Wasserzeichen gestört wirst.

MAIK

wirft ein bisschen die Frage auf, warum du so eine LSM gefunden hast, aber da reden wir vielleicht ein anderes Mal drüber. Ascher, sieben Trillionen oder seven Trillions, was ist denn das für eine Zahl?

SASCHA

Ja, ich glaube, es sind Trillions. Also auch dieses Thema haben wir letzte Woche mal so ein bisschen versucht zu beleuchten in den News, als wir erzählt haben, dass Mark Zuckerberg auch gern so ein bisschen auf Einkaufstour gerade ist und ungefähr 20 Milliarden Euro bis zum Ende des Jahres bei Nvidia auf den Tisch legt für deren GPUs. Thema Knappheit von Halbleitern zu beenden und die Produktion anzukurbeln. Das hat sich jetzt auch Sam CEO von überlegt. Altman, OpenAI, Und er dachte 20 sich, Mark Milliarden, hold Zuckerberg, my beer. Ich hau mal 7 Trillion raus. Und ich sage es bewusst auf Englisch, weil 7 Trillion sind nicht gleichzeitig 7 Trillionen, sondern es wird ja ein bisschen anders gerechnet im Deutschen. Immerhin sind es aber immer noch 7 Billionen. Und für uns beiden Banker, die gerne ja mit Millionen und Milliarden, also vielen Nullen rumspielen, das sind immerhin noch 7.000 Milliarden Dollar. Also eine ganze Menge tatsächlich. Und dafür kannst du dir wahrscheinlich den einen oder anderen Chip kaufen. Wobei wir ja auch wissen, dass diese Industrie vor allem anhand der seltenen Erden so ein bisschen limitiert ist. Aber ich bin sehr wie viel Geld jetzt schlussendlich gespannt, da reinfließt vor allem anhand der seltenen so ein bisschen limitiert ist. Erden, Aber ich bin sehr gespannt, wie viel Geld jetzt schlussendlich da reinfließt und wie Sam Altman das machen will. Zumindest hat er so ein bisschen das Wagniskapital hiermit angeschoben.

MAIK

Und was man vor allen Dingen daran sieht, also wir haben in den letzten Jahren, vielleicht auch wenigen Jahrzehnten, die eine oder andere technische Entwicklung und auch technische Revolution, zumindest wurde das so angekündigt, erlebt. Die Revolution ist vielleicht ausgeblieben. Was wir aber hier sagen können, alleine schon aufgrund der Investitionen, die da momentan fließen, das scheint alles ganz schön serious Business zu sein. Also das ist jetzt nichts, wo man sagt, okay, das ist ein bisschen Spielgeld, was wir jetzt hier mal locker machen, um bei irgendeiner Technologie so metaverse-mäßig dabei sein zu können, sondern das sind Summen, wo ich sage, das ist so absurd hoch, das kann nur sehr ernst gemeint sein. Dann haben wir noch so zwei, drei kleinere Dinge, die packen wir einfach in die Shownotes rein, Tools, die wir immer mal wieder sehen und die uns über den Weg laufen, wollen wir gar nicht groß drüber sprechen. Interessant dabei ist vielleicht das Leaderboard von den AI-Models. Da kann man sich anschauen, wie die gerankt sind. Und damit kommen wir auch schon zu unserem Thema. Denn Sascha hat es eben in der Intro angekündigt, wir wollen über den EU-AI-Act sprechen. Der EU-AI-Act steht für, abonniert unseren Podcast-Kanal oder aber eben für die Regulatorik der künstlichen Intelligenz in Europa. Und das Ding hat es ja in sich, nicht nur was den Seitenumfang betrifft, sondern auch was die Themen betrifft, die reguliert werden sollen. Du hast es gelesen, oder? Alle 252 Seiten.

SASCHA

Nicht komplett tatsächlich, aber zumindest habe ich mich ein bisschen damit auseinandergesetzt, habe auch ein tolles Tool gefunden, was wir auch gleich nochmal zeigen. auch in der medialen Berichterstattung zurzeit immer wieder hoch und runter diskutiert wird, sind ja so diese beiden Seiten von, ist die KI jetzt der zukünftige Heilsbringer und wird all unsere Probleme und Herausforderungen der Menschheit lösen? Oder genau andersrum, werden wir bald alle sterben und von einer künstlichen Intelligenz beherrscht, versklavt werden oder vielleicht sogar ausgerottet? Und genau diese Fragen hat sich, glaube ich, auch die EU gestellt. Und deswegen tauchen wir heute mal ein bisschen ein. Weil dieses Thema wird ja gefühlt schon seit einer Ewigkeit in Brüssel diskutiert.

MAIK

die EU gestellt.

SASCHA

So, letzte Woche gab es dann, und ich glaube, genau am 2. Februar, haben sich alle EU-Mitgliedstaaten dann verständigt und haben den sogenannten AI-Act dann einstimmig verabschiedet. Aber bevor wir einsteigen, eine kurze Rückschau, was das eigentlich ist. Denn mittlerweile geht uns beiden das so ganz gut von der Zunge. Am Anfang haben wir uns da schon noch verschluckt. Weil dahinter steckt ja, wie du sagst, wirklich eine riesige Hydra. Ausgesprochen heißt der AI-Akt, und das muss ich ablesen, Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union. Also kurz ist das die KI-Verordnung oder eben AI-Act. Und über den sprechen wir heute. Genau.

MAIK

Genau, das Interessante daran ist ja, dass etwas reguliert wird, was ja eigentlich noch gar nicht richtig da ist. Künstliche Intelligenz ist ja quasi noch in den Kinderschuhen und trotzdem gibt es da schon eine Regulierung.

SASCHA

das ist ganz spannend, weil auch die Anfänge dieser Regulierung, die sind ja auch nicht erst seit 2023 oder 2022, wo wir zum ersten Mal mit GPT in Erfahrung gekommen sind, sondern es fing bereits 2021 an. Aber jetzt muss man sagen, nach sehr vielen monatelangen Verhandlungen im Europäischen Parlament, wurde das Thema jetzt dann endlich entschieden und wird jetzt wahrscheinlich noch ein bisschen dauern, bis das dann in die nationalen Gesetzgebungen übergeht. Das dauert wie üblich dann ein paar Monate, vielleicht auch ein paar Jahre, kommt glaube ich auf die entsprechenden Länder an. Aber wie gesagt, diese Zustimmung sind über ewige Debatten und auch Verhandlungen vorausgegangen. Wir hatten ja das Deutsche hin und her im letzten Podcast mal so ein bisschen kurz berichtet. Und vor allem auch aufgrund von Bedenken, die unter anderem Deutschland und Frankreich geäußert hatten, war dieser Beschluss auch ganz schön lange auf der Kippe. der Kippe. Letzte Woche haben sich jetzt alle in den Armen gelegen und freundschaftlich auf die Schulter geklopft und Robert Habeck als Bundeswirtschaftsminister hat sich dann dazu hinreißen lassen, auch zu sagen, dass diese KI-Verordnung nun dafür sorgen soll, dass wir in Europa das enorme Potenzial heben und gleichzeitig natürlich auch die Risiken in den Blick nehmen. Das wurde dann auch von allen Ministern und den Ämtern entsprechend auf X und auf LinkedIn richtig breit zelebriert. Aber lass

MAIK

kurz auf die Zeitlinie gucken. Ich glaube, seit 2021 sprechen wir drüber. Und jetzt seit dem 2.2. ist das, wie du gesagt hast, einstimmig entschieden. Im April, Mai muss dann das EU-Parlament noch zustimmen und in die Umsetzung und in nationales Recht gegossen, dann bis 2026. Also ist auch nicht mehr ewig, wenn wir ehrlich sind.

SASCHA

Nö, ist tatsächlich für so eine große Verordnung und so ein Mammutwerk, was halt einfach sehr viele Mitgliedstaaten mit betreuen müssen, ein recht sportlicher Ansatz. Aber trotzdem, wenn wir uns jetzt mal die Entwicklung der letzten Monate, Wochen und sogar Tage anschauen, ist das natürlich eine wahnsinnige Zeiteinheit, in der

MAIK

Was steht denn drin? Vielleicht sollten wir mal schauen, was der

SASCHA

Lass uns das machen, aber vielleicht schauen wir noch einen ganz kurzen Seitenblick, was es für Positionen gibt, weil das finde ich so ganz spannend und ist auch das, womit ich mich quasi vorher beschäftigt habe. Denn du hast ja immer so die Hardliner in beiden Richtungen und das ist auch aufgrund der medialen Berichterstattung der letzten Monate hat sich das immer noch verschärft. Auf der einen Seite hast du ja immer so ein bisschen die klaren Befürworter von so einem AI-Akt und die betrachten diesen Schritt natürlich als sehr vorausschauend und als richtig auch zum aktuellen Zeitpunkt, um KI einfach frühzeitig und sehr konsequent in die richtigen Bahnen zu lenken und auch dann kritische und gefährliche Use Cases einfach schnell zu unterbinden, bevor diese sich selbstständig machen und uns dann ausrotten. Und diese Befürworter werden natürlich dann sehr oft von den Tech-Bros belächelt, dass sie immer nur ängstlich sind und die Innovation im Keimer sticken. Und dann gibt es genau auf der anderen Seite der Klaviatur, die Kritiker, die regen sich dann darüber auf, dass Anwendungsmöglichkeiten besprochen werden müssen, bevor es überhaupt die riesige Regulierungswelle oder der Regulierungshammer, wie es jetzt immer wieder kolportiert wird, alles kaputt macht, bevor die ersten kleinen Pflänzchen der künstlichen Intelligenz überhaupt beginnen zu wachsen. Also diese sehen eher so ein bisschen die Sorge, dass eine starke Regulierung die Innovation hemmt und wieder einmal den USA und Asien, vor allem natürlich China, eine freie Bahn in so innovativen Technologien bereitet, wo bei uns mal wieder hierzulande nur über die Ängste gesprochen wird. Und Beispiele von diesen Kritikern sind natürlich auch immer die, die uns gegenüber anderen Jurisdiktionen hemmen. Ja, schlussendlich natürlich auch fairerweise so das Thema Innovationskraft von Gründern, von Startups, aber auch Wagniskapital dann woanders hinzieht.

MAIK

sogar noch eine dritte Partei, die man auch in dem Zusammenhang erwähnen sollte, nämlich sollte, nämlich das Thema das Thema Netzpolitik, Netzpolitik, die die ja ja auch auch sagen, sagen, schön, dass wir das jetzt reguliert haben, die also die Regulatorik prinzipiell begrüßen, denen aber tatsächlich die Regulatorik nicht weit genug geht. Auch die Stimmen gibt es ja. Da wollen wir jetzt heute nicht groß drüber sprechen, weil tatsächlich schon, glaube ich, einiges auch im Positiven reguliert, aber die gibt es natürlich auch, die kritischen Stimmen, die

SASCHA

Wo stehen wir jetzt? Vor zwei das haben wir ja auch kurz besprochen, Wochen, dann ist der erste AI-Act in so einer frühzeitigen Fassung von 900 Seiten geleakt. In der letzten Runde, in der offiziellen Fassung des Gesetzesentwurfs wurde der jetzt veröffentlicht. Immer noch mit, du hast es gesagt, prall gefüllten 252 Seiten. Und für alle, die jetzt schon so kurz vorm Abschalten sind, das braucht natürlich niemand durchzuarbeiten oder auch nur zu lesen, habe ich fairerweise auch nicht. Aber was ich gefunden habe, ist vor ein paar Tagen eine relativ coole Software, nämlich den AI Act Explorer, der ermöglicht es, den Inhalt der Verordnung einfach auf so eine recht intuitive Weise zu erkunden oder nach Teilen, die für dich relevant sind, zu durchsuchen. Aktuell ist da so ein vollständiger, endgültiger Entwurf des Gesetzes drin vom Ende Januar und der wird, glaube ich, jetzt wöchentlich auch ergänzt. Wir nehmen den mal mit in die Shownotes auf, da könnt ihr den entsprechend auch ein bisschen ausprobieren. Aber der hilft tatsächlich beim Verständnis und sorgt nicht dafür, dass ihr ab Seite 3 eingeschlafen seid.

MAIK

haben wir die ganze Zeit um den heißen Brei gesprochen. Wir wissen jetzt, wann das Ding gekommen ist, wie der Zeitplan aussieht. Und es gibt schöne Tools, wo man sich das noch mal in leicht verdaulichen Stücken erklären lassen kann. Aber lass uns mal wirklich drüber sprechen, was reguliert wird. Also AI ist natürlich das eine, das ist so auf der Meta-Ebene, aber die Regulatur sieht ja vor, dass man quasi die Gefahren, die durch AI ausgehen können, in verschiedene Kategorien packt. Und eine davon ist der High-Risk-Bereich.

SASCHA

Genau, ja, was du Kategorien nennst, das nennt die EU quasi einen risikobasierten Ansatz. Das lässt mein Bankerherz ganz persönlich auf jeden Fall höher schlagen. Ganz am Ende sind es aber einfach verschiedene Risikoklassen. Und grundsätzlich wird gesagt, dass Anwendungen mit einem geringen Risiko quasi kaum reguliert werden. Teilweise gibt es ein paar Transparenzpflichten, die sind aber nicht wirklich wild und die sind auch eher sehr, sehr schwach beschrieben. Deshalb wir uns, glaube ich, heute denjenigen mal widmen, die ein höheres Risiko quasi hier innehaben und speziellen Regeln unterliegen. Und insgesamt gibt es hier quasi drei Kategorien. Zwei, die wir uns mal so ein bisschen näher zur Brust nehmen wollen. Das sind die Hochrisiko- KI-Systeme und das sind die verbotenen KI-Systeme.

MAIK

sich das anschaut, dann kann man auch nochmal unterteilen, was passt eigentlich da rein. Und es sind im wesentlichen sind es acht Punkte, auf die wir jetzt mal so ein bisschen eingehen. Ein extrem oft vorkommt als Wort ist das ganze Thema Biometrie. Genau, also ist das ganze Thema

SASCHA

Genau, also es gibt das Thema Biometrie, was auch quasi in den weitreichenden Auswirkungen in ganz vielen verschiedenen Sektoren mal da abgezeichnet wird. Es ist sowohl im Gesundheitswesen, im Verbraucherschutz, aber eben auch in der Automobilindustrie. Da geht es so in die Thematiken rein wie autonom fahrende Fahrzeuge und die Ethik dahinter natürlich. Aber ganz spannend, finde ich, wird das Ganze dann im Aber gerade wenn wir das Thema öffentlicher Bereiche einmal anschauen, so eine Realtime-Gesichtserkennung verboten bleibt, sondern tatsächlich auch das Ganze in den Datenbeständen, also wenn man diese Daten auch speichert. Und damit kam Deutschland aber nicht durch, denn beschlossen wurde nun, dass sehr wohl die Strafverfolgungsbehörden im Verdacht auf schwerste und allerschwerste Verbrechen, dieses Verbot aufweichen können. Und da wir Debatten rund um Vorratsdatenspeicherung und der letzten Jahre kennen, Co. wird glaube sehr mal zu ob das so die erste es, Hintertür ich, sein sehr, kann, wichtig, beobachten, wo jetzt Strafverfolgungsbehörden

MAIK

Und das war ja auch in der Kritik tatsächlich von Seiten der Datenschützer und Netzaktivisten, die genau das sagen, nämlich, dass man jetzt den staatlichen Organen durch die Regulatorik noch mehr Möglichkeiten an die Hand gibt. Wo Licht ist, ist auch Schatten. Also natürlich, wenn man an sowas denkt wie Terrorismusbekämpfung, ist man wahrscheinlich froh, dass es diese Tools froh, dass gibt. es diese

SASCHA

gibt. Ja, du sagst es, wo liegt es der Schatten und das ist ja genau immer das Problem auch der Interpretation und hier muss man ja auch fairerweise sagen, hier sind ja nicht alle Länder und alle Demokratien oder vermeintlichen Demokratien gleich unterwegs, aber grundsätzlich denke ich, dass das Thema willkürliche Vorratsdatenspeicherung und Vorratsdatenverwendung, vor allem auch dann die nachträgliche Nutzung von diesem Material, einfach noch viel zu schwach ausgeprägt ist aktuell in dem EIA. Da gibt es wirklich noch Lücken und auch schwache Grauzonen, die ich finde, die es jetzt noch auf der Ebene des Trilogs in Brüssel wirklich zu füllen gibt, gilt bevor das Ganze dann an die eigentlichen Gesetzgebungen geht.

MAIK

wir denn noch für Hochrisikobereiche? Also wir haben jetzt das Thema Biometrie, da haben wir gerade drüber gesprochen, aber wir sind natürlich auch in der Branche aktiv, Banking, Payment oder Insurance, die zählen ja auch, glaube ich, zu den Hochrisikobereichen.

SASCHA

Genau, also das Thema Hochrisiko ist sehr breit ausgeführt. Also das fängt schon ein bisschen seicht an, sage ich mal, auch in diesem AI ActAct-Explorer. Ein Beispiel sind zum Beispiel KIs, die Arbeitslosen helfen, Arbeitslosengeld zu bekommen. Das klingt erstmal irgendwie sehr seicht und trivial und eigentlich so gar nicht böse. Aber wenn dieses Programm dann angenommen in falsche Hände kommt und dadurch auch falsche Ratschläge gibt oder bestimmte Gruppen gegenüber anderen benachteiligt, dann könnte das natürlich schwerwiegende Folgen für alle Betroffenen haben. Ebenfalls in dieser Kategorie sind Anwendungen, die bei der Bearbeitung von Asylanträgen eingesetzt werden oder in Konzernen, die Personalabteilungen dabei zu unterstützen, Bewerbungsunterlagen nach guten und auch nach schlechten KandidatInnen zu durchsuchen und natürlich die vermeintlich schlechten oder ungeeigneten sofort rausfiltern. Und hier hast du auch so ein Biometrie-Thema, wo du sagst, ja, schlecht oder ungeeignet, das sind einfach Marker und je nach Sprachmodell kann das das Geschlecht sein, das kann die Hautfarbe sein etc. Und dann wird es natürlich sehr, sehr willkürlich. Hautfarbe sein Und dann etc. wird

SASCHA

und du sprichst es bei Banken sind Hochrisikoanwendungen Ja, dann zum Beispiel eine an, Kreditwürdigkeitsprüfung. Das steht ganz klar so als Beispiel drin und ich Scoring ist auch aufgenommen, glaube, also eine Kreditpunktebewertung einer einzelnen Kundin. Und das ist natürlich

MAIK

Es gibt noch ein paar mehr nur Bereiche, um sie mal genannt zu haben. Also man kann eigentlich sagen, dass Hochrisikobereiche sind, alles, was mit Behörden zu tun hat, alles, was mit Schulen und öffentlichen Einrichtungen zu tun hat. Grenzkontrolle gehört auch, glaube ich, dazu. Du hast es ja eben gerade genannt, das Thema Gesichtserkennung, ganz wichtiger Bereich, dann Banken, Finanzinstitute, Versicherungen. Also man hat das schon einigermaßen breit gefasst, vor allen Dingen, man kann also in Nutshell sagen, also immer dann, wenn es in so einen öffentlichen Bereich kommt, gibt es sehr klare und starke Restriktionen.

SASCHA

Ja, ganz genau. Und dann gibt es in diesem ganzen Bereich Hochrisiko noch so ein Untermodul quasi, denn man hat lange intensiv gestritten und jetzt doch aber final verabschiedet, wie die Technik hinter diesen großen Sprachmodellen wie ChatGPT oder Gemini reguliert werden sollen. Denn diese haben ja jetzt schon so viele Anwendungen, über die wir ja auch schon gesprochen haben, dass sie sich einfach nur schwer direkt in so eine Risikoklasse einsortieren lässt. Das heißt, die ChatGPTs, Dulles, Midjourneys dieser Welt werden sogenannte Foundation Models bezeichnet. Also schlicht übersetzt sind das dann Basismodelle und begeht ein Basismodell einen Fehler. Könnte das natürlich erstmal so am falschen Prompt von mir liegen und damit natürlich einfach an der falschen Anwendung. Es kann aber auch am falsch aufgebauten oder sogar manipulativen Sprachmodell liegen, was eine ganz klare Absicht verfolgt. Und um genau das nachvollziehen zu können, müssen die Anbieter solcher Modelle ab in Kraft treten, den Anwendern Details zur Herleitung zur Verfügung stellen. Das heißt, im Klartext müssen die großen KI-Entwickler wie OpenAI oder Google den deutschen Konzernen, aber auch dem Mittelstand natürlich, ausreichend technische Details zur Verfügung stellen, um ein gutes Verständnis der Möglichkeiten, aber auch der Grenzen von diesem Basissystem entwickeln zu können. Und da bin ich sehr gespannt, wie sie das machen.

MAIK

Ja, nicht nur gespannt, wie sie es machen, sondern ich glaube, muss auch erwähnt werden, dass der ACT ja auch reguliert, was mit ausländischen Tools letztendlich passiert. Das heißt, ChatGBT ist ja kein europäisches Unternehmen. Auch die fallen natürlich unter die Regulatoren. Das heißt, in dem Moment, wo ein Dienst, egal wo er entwickelt wird, in Europa zur Verfügung gestellt wird, fällt er unter diese Regulierung.

SASCHA

Frage, die wir uns halt auch stellen, ist, wird Europa mit diesem AI-Act so ein bisschen zum Vorbild, auch für andere große Länder oder Länderzusammenschlüsse? Oder ist es eher dann die Lame Duck, über die sich alle lustig machen? Die Idee in Brüssel ist aktuell noch, dass nun auch alle anderen großen Staaten und vor allem die Unternehmen wie die großen Hyperscaler aufwachen und dass Brüssel jetzt gleich tut, um dann auch rechtssicher in der EU anbieten zu können. Aber das bleibt natürlich abzuwarten und ich zweifle daran so ein bisschen, weil wenn einzelne Use Cases als hoch riskant eingeschätzt werden, dann werden die ja nicht einfach mehr nutzbar sein in der EU. Das heißt, dann wird wirklich interessant, wie die großen Tech-Konzerne damit umgehen. Und das ist ja auch dann die sogenannte Transparenzpflicht, die wir ganz am Anfang mal erwähnt haben. Das heißt, der AI-Act sieht zum Beispiel vor, dass Unternehmen ihre Trainingsdaten offenlegen müssen. Bisher konnten ja die großen Tech-Konzerne ihre Marktmacht auch deshalb ausbauen, weil ihre Datensätze einfach immer geheim waren. Und genau diese Geheimhaltung soll jetzt nach dem Willen der EU ein Ende haben. Fraglich natürlich, ob diese Transparenzpflicht dann sich konkret auswirkt. Das wird sich, glaube ich, erst zeigen, wenn der AI-Act dann auch in den einzelnen Ländern wirklich in Kraft tritt.

MAIK

Was man, glaube ich, sagen kann, ist, dass es immer zu einer gewissen Form der Verzögerung kommen wird. Das haben wir beispielsweise in den letzten Monaten erlebt von Meta beispielsweise, die Threads als Social-Media-Plattform erst nicht in der EU zur Verfügung gestellt haben, genau wegen der EU-Regulierung. In dem Fall war es die DSGVO, wo man erst Anpassungen vornehmen musste. Und was ähnliches werden wir wahrscheinlich in dem Bereich auch erleben, dass wir eine Entwicklung haben, die beispielsweise erst in den USA verfügbar ist und nutzbar ist und dann vielleicht Wochen, wenige Monate später dann nach Europa schwappen wird.

SASCHA

Ja, ganz genau. Was aber auch spannend ist, und ich glaube, das ist auch quasi schon so die erste Abschränkung, die eingearbeitet wurde, ist, dass der AI-Akt auch schon erste Vorschriften enthält, wo das dann sowohl in der nationalen Gesetzgebung verankert sein wird, aber eben auch, wie so die staatliche Aufsicht aussehen wird und wie Bußgelder aussehen werden.

SASCHA

Bei uns in Deutschland wird es bei der Bundesnetzagentur auf jeden Fall wo das liegen, ganze Thema eingebettet wird. Und bei den Bußgeldern weiß man jetzt schon, dass bei Verstößen gegen den AI-Act Bußgelder von bis zu 35 Millionen Euro pro Fall beziehungsweise 7 Prozent des weltweiten konsolidierten Umsatzes eines Unternehmens vorgesehen sind. Und ich glaube, auch hier wollte Brüssel schon mal ein Zeichen setzen, dass das nicht nur Jugend forscht, sondern dass es hier tatsächlich auch ans Eingemachte geht.

MAIK

wichtig bei den Bußgeldern, ich glaube, auch in dem Zusammenhang zu sagen ist, in dem Moment, wo ich als europäisches Unternehmen eine Technologie einsetze, die unter High-Risk fällt, bin ich genauso betroffen. Das heißt, es betrifft nicht nur das ursprüngliche Unternehmen, also den Provider in dem Fall, sondern auch das Unternehmen, die Technologie entsprechend einsetzt. Und vielleicht, wenn wir uns das mal anschauen, was wir jetzt schon haben und was wir ja auch jetzt schon nutzen, auch im Business-Umfeld, nehmen wir zum Beispiel ChatGPT. Ich will niemandem was unterstellen, auch aus dem HR-Bereich natürlich nicht, aber ich kann mir vorstellen, dass der eine oder andere HR da schon mal den einen oder anderen Zivil in Chattipati hochgeladen hat und sich hat analysieren lassen. Das wäre ein klassischer Hochrisikobereich und wäre entsprechend ein Verstoß, wenn man das tut, ohne seine Kundinnen und Kunden zu informieren, beziehungsweise mit dem Hochrisikobereich sind ja auch viele Pflichten verbunden. Und die gilt es halt entsprechend einzuhalten. Tut man das nicht, kann es sehr, sehr teuer werden.

SASCHA

Lass uns mal auf die dunkle Seite der Macht springen. Das waren ja alles noch so diejenigen, wo der AI-Act zwar schon sehr klar ist, aber die irgendwie unter bestimmten Voraussetzungen dann auch möglich und erlaubt sind. Aber der AI-Act hat natürlich auch die Kategorie der verbotenen KI-Systeme. Und das sind allerlei. Und auch hier, das liest sich tatsächlich so ein bisschen wie ein Krimi, weil hier ganz, ganz viele Beispiele verarbeitet wurden. Zum Beispiel soziale Bewertungssysteme, wie sie ja in China bereits seit Jahren etabliert wurden. Das sogenannte Social Scoring müssen wir, glaube ich, gar nicht groß erklären. Kennen die meisten von euch wahrscheinlich. Aber es wird auch ganz intensiv darauf eingegangen, wie mit offensichtlicher Manipulation von Verhaltensmustern von Menschen auch umgegangen werden wird. Und dann gibt es so ein paar so richtig schöne Doomsday-Fälle. Zum Beispiel das Predictive Policing. Also auf Deutsch die vorhersagende Polizeiarbeit, glaube ich. Das ist ganz am Ende natürlich zur Berechnung der Wahrscheinlichkeit von zukünftigen Straftaten oder natürlich auch zur Steuerung des Einsatzes von Polizeikräften. Zeug und schreibt quasi schon das Drehbuch für die nächste Netflix-Series oder für unsere Doomsday-Rubrik. Mein erster Impuls war Minority Report aus, Gott, Gott, Anfang der 90er, glaube

MAIK

Da war es ja nicht nur eine KI. Also das, was wir in China zum Beispiel haben, wäre und wird in der EU in der Form, beziehungsweise in gar keiner Form möglich sein. Und das ist auch ehrlicherweise ganz gut so. Da haben wir ja auch am Anfang drüber gesprochen, hindert der AI Act Innovation vielleicht, wenn man beispielsweise Social Scoring als Innovation betrifft. Ich bin ehrlicherweise ganz froh, dass es so gewisse Regulatorien gibt und auch No-Gos gibt, wo man ganz klar sagt, das ist eben nicht erlaubt. Und neben dem Social Scoring und das ganze Thema Predictive, wie hast du es genannt? Predictive Policing ist es genannt. Gibt es ja noch so zwei, drei andere Sachen. Du darfst zum Beispiel nicht Bilder mit Gesichtern ohne Grund scrappen und aufbereiten, das ist nicht erlaubt. Du kannst also nicht einfach eine große Datenbank mit Gesichtern machen. Dann haben wir das ganze Thema biologische Merkmale, die du nicht erfassen darfst und vor allen Dingen analysieren darfst, also Hautfarbe, Körpergröße, körperliche Behinderung etc. pp. Dann Systeme, die darauf ausgelegt sind, Menschen zu manipulieren. Also wir hatten eben das Beispiel ja in den News mit dem Amazon-Assistenten Rufus. Das ist vielleicht noch so ganz fancy, aber wenn wir uns jetzt einen Assistenten vorstellen, der dich dazu anleitet, vielleicht Investitionen zu tun, die nicht ganz so fein sind oder Dinge zu kaufen, die du eigentlich gar nicht kaufen wolltest, dann ist das auch etwas, was nicht erlaubt sein wird.

SASCHA

Ja, ein anderes schönes Beispiel, was ich noch so herausgebuddelt habe, ist die sogenannte Emotionserkennung am Arbeitsplatz. Und wenn wir das mal durchdenken, dann setzen wir uns mal in deine Schuhe rein. Du hast jetzt irgendwie morgen ein Gespräch mit deinem Chef und auf einmal ist die HR-Abteilung mit dabei. Und dann wird gesagt, ja, Herr Klotz, wie ist denn das eigentlich? Wie geht es Ihnen denn gerade denn? Unsere Kameras, die wir in Ihrem Dienst-iPhone haben, aber auch in Ihrem MacBook und natürlich auch in jedem öffentlichen Raum hier bei uns, die haben so ein bisschen ergeben, dass Sie nicht so richtig glücklich sind. Sie schauen seltener in der Kaffeeküche vorbei. Ich finde sowieso könnten sie auch ein bisschen öfter im Büro sein. Und das große Problem, was wir sehen, ist, sie lächeln viel zu wenig. Das war doch früher besser, Herr Klotz. Und sie wissen, wir sind hier ein Unternehmen, wo alle miteinander dufte sind, wo es richtig Spaß machen soll. Wir glauben an Kultur. Das hat ein Nachspiel, Herr Klotz. Und wenn sie nicht wirklich an ihrem Lächeln und an Ihren positiven Emotionen gegenüber Ihren Mitarbeitenden und Kollegen arbeiten, dann wird die Reise für Sie hier zu Ende gehen.

MAIK

wenn man sich das mal wirklich auf der Zunge zergehen lässt, was du gerade beschreibst, das muss man sich so vorstellen wie in so einem schlechten Krimi aus den 80ern, 90ern. Da gab es ja diese Lügendetektoren. Und so ein Ding ziehe ich die ganze Zeit hinter mir her und jedes Mal gibt es einen Ausschlag, wenn ich irgendwie eine Frage gestellt bekomme. Und genau das möchte man eben verhindern und es ist auch gut so, dass wir das regulieren und dass es eben nicht möglich sein wird. Und interessanterweise, das sind alles Dinge, auch das muss man sich mal überlegen, das, was wir hier gerade regulieren oder was die EU in dem Moment reguliert, ist in anderen Ländern ja da und wird genutzt. Also beispielsweise das Thema Social Scoring in China ist beim Dating in China ein wichtiger Faktor. Das heißt, du hast bessere Chancen beim anderen Geschlecht, wenn du einen entsprechenden Social Score hast. Und das ist natürlich irgendwie absurd und auch sehr beängstigend.

SASCHA

diese Sachen, über die wir jetzt gerade sprechen, aber eben auch dieses ganze Thema Social Scoring beim Dating. Du kriegst einen Flug. Ich kriege zum Beispiel keinen Flug ins europäische Ausland, aber nicht, ne, Transparenz ist da nicht mehr dabei. Das es wird mir gar nicht gesagt, heißt, warum ich kann bestimmte Produkte nicht kaufen. Ich kann vielleicht nicht in die Wohnung ziehen, in die du ziehen kannst. Natürlich nicht warum es so ist, transparent, sondern einfach nur sehr binär die Ablehnung. Und genau das, finde ich, entspricht genau den Büchern oder auch Hörbüchern von Marc-Uwe Kling. Vielleicht kennst du der ein oder andere aus den Kängurukroniken, aber hier kann ich echt empfehlen, wer es nicht kennt, Quality Land 1 und 2, mittlerweile ein paar Jahre alt, aber die beschreiben wirklich eins zu eins diese Dystopie. Wenn man das Ganze natürlich bis zum Ende durchdenkt, dann wird es immer gruseliger, in welche Richtung wir uns da entwickeln, aber gerade so Emotionserkennung, Social Scoring, Datingmanipulation sind da ganz vorne mit dabei.

MAIK

du sagst gerade Dystopie und ich bin mir gar nicht sicher, ob das alles so viel Zukunftsmusik ist. Letzte Woche gab es ja bei Spiegel Online die Meldung mit dem Deepfake. In Hongkong, wo es ja Kriminellen gelungen ist, 23 Millionen Euro, also ungerechnet 23 Millionen Euro, mit Hilfe eines Deepfake-Videos zu gelungen erbeuten. 23 Millionen ist, also ungerechnet Euro, 23 Millionen Euro, mit Hilfe eines Deepfake-Videos zu erbeuten. Und das ist ja nicht eine Zukunftsgeschichte, sondern

SASCHA

ich habe es mir tatsächlich Ja, angeschaut. Und während ich noch überlegt welches Doomsday of the Week, habe, welche Dystopie wir diese Woche nehmen, habe ich gedacht, mittlerweile okay, schreiben die Dinger sich halt einfach im echten Leben selbst und ich muss nur Spiegel Online lesen. Also danke schon mal für das Spoilern des Doomsdays, aber dann mache ich es kurz zu Ende. Genau das ist passiert, beziehungsweise wir müssen fairerweise sagen, es ist mutmaßlich passiert, weil die Beweislage natürlich auch gerade durch die Ermittlungen der Strafverfolgungsbehörden so ein bisschen unklar ist und ein bisschen intransparent. Ganz am Ende ist aber genau, was du gesagt hast. 23 Millionen Euro wurden in Hongkong durch den sogenannten CEO-Betrug erbeutet. Allerdings nicht durch das klassische Social Engineering, sondern tatsächlich ausschließlich durch KI. Das heißt, Kriminelle haben KI benutzt, um eine Videokonferenz mit dem Finanzvorstand eines Unternehmens zu fälschen und so eine Überweisung von über 300 Millionen Euro zu verifizieren, die sie vorab per E-Mail an so einen Mitarbeiter bereits versendet haben. Der fand das aber so ein bisschen fishy und dennoch gab es kurz darauf oder wahrscheinlich genau deswegen eine spontan einberufene Videokonferenz mit diversen Mitgliedern des Vorstandes sowie anderen Mitarbeitern des Financial Departments. Und in der Videokonferenz saßen diese Mitarbeiter aus der Finanzabteilung, der die E-Mail erhalten hat und jetzt die Transaktion auslösen sollte, also alle relevanten Big Buster gegenüber und erklärten ihm sehr klar und deutlich, warum das jetzt nun auch sofort passieren muss. Nur leider saßen halt keine echten Menschen, sondern da saßen lediglich KI-generierte Bilder, Videos und Stimmen aus alten Aufnahmen. Die Polizei, glaube ich, jetzt vermutet, zumindest in der ersten Stellungnahme, dass einfach Videos von öffentlichen Auftritten und von unternehmensinternen Aufnahmen da als Vorlage dienten, die dann mit KI-generierten Stimmen ergänzt wurden.

MAIK

Genau, das macht es ein bisschen, das macht sich weniger spooky. Tatsächlich wurden wahrscheinlich, die Videos gab es schon und man hat nur andere Stimmen bzw. manipulierte Stimmen drunter gelegt. Am Ende fehlen 23 Millionen Euro und ja, glaube ich ein Thema, was wir uns auch mal in Zukunft widmen werden. Wir geben nochmal eine kleine Anleitung, wie man den besten Fraud macht, was es da für Möglichkeiten gibt. Wir sind am Ende unserer Folge angekommen. Wir bedanken uns ganz herzlich fürs Zuhören. Wir hoffen, wir konnten ein bisschen Einblick geben in den EU-AI-Act. Und ja, wir schauen auf die nächste Folge. Und wenn ich die Umfrage richtig im Kopf habe, dann ist tatsächlich Fraud als zweites Thema bestimmt worden.

SASCHA

Ja, genau. Also ich glaube, so ein bisschen das Thema unterschiedliche oder die neue Welt der Betrugsmaschen, wo auch KI-Technologie eingesetzt wird, zum Beispiel, um, keine Ahnung, Identitäten zu stehlen und dann damit betrügerische Transaktionen durchzuführen. Das ist ein sehr weites Feld. Da gibt es eine ganze Menge neue Tools im Darknet und da würden wir demnächst mal reintauchen und mal so ein bisschen das Handwerkszeug der Betrüger zumindest versuchen zu entlarven und so ein bisschen auch dafür zu sorgen, dass alle wissen, was gerade so die typischen Phishing, Wishing und Fraud-Mechanismen da draußen sind.

MAIK

mal so ein bisschen Autotune über unseren Podcast und tauschen mal unsere Stimmen und machen lustige Sachen. Es wird bestimmt unterhaltsam. Wir sagen an der Stelle nochmal vielen lieben Dank und bis zum nächsten Mal.

SASCHA

bis bald.