SHOAIB.SARWAR
Blog
← Back to Blog← Zurück zum Blog

I use AI. I still don't trust it.

Published: 20 September 2026 · 13 min read · Author: Shoaib Sarwar

Disclaimer: This is my personal opinion as of today. It is not legal, security, or academic advice. You may disagree with me. That's fine. I'm a software developer, not an AI researcher, and I'm not pretending to have all the answers. My opinion can change when I learn something new, when the technology changes, or when someone gives me a better argument.

I work with technology every day.

I write software. I work with PHP, Symfony, Contao, WordPress, JavaScript, databases, Docker, Linux and servers. I build websites, backend systems, browser extensions and personal projects. Technology is not something I watch from the outside. It is part of my daily life.

And yes, I use AI.

That's probably why I have become more uncomfortable with the direction we're taking it.

AI can be impressive. It can write code in seconds. It can explain unfamiliar technologies. It can generate images, summarize documents, analyze information and automate tasks that used to take much longer.

But somewhere along the way, the conversation changed.

We stopped asking:

"What can AI help us do?"

and started asking:

"Why should a human do this at all?"

That second question worries me.

Because AI isn't just another developer tool anymore. We're putting it into education, recruitment, customer service, healthcare, finance, security, content creation, software development, surveillance and increasingly important decision-making. And we're doing it very quickly.

I don't think AI needs to become conscious. I don't think it needs to hate humans. I don't think we need a science-fiction robot apocalypse. There are already enough reasons to be worried. 

                 ┌─────────────────────┐
                 │      AI SYSTEM      │
                 └──────────┬──────────┘
                            │
                            ▼
                 ┌─────────────────────┐
                 │   AI GENERATES /   │
                 │   RECOMMENDS /     │
                 │     PREDICTS       │
                 └──────────┬──────────┘
                            │
                            ▼
                 ┌─────────────────────┐
                 │   HUMAN VERIFIES    │
                 │                     │
                 │ Is it accurate?     │
                 │ Is it appropriate?  │
                 │ What are the risks? │
                 └──────────┬──────────┘
                            │
                    ┌───────┴───────┐
                    │               │
                   NO              YES
                    │               │
                    ▼               ▼
          ┌────────────────┐  ┌─────────────────┐
          │ STOP / CHECK   │  │ HUMAN DECISION  │
          │ SOURCES / FIX  │  │ + RESPONSIBILITY│
          └────────────────┘  └────────┬────────┘
                                       │
                                       ▼
                              ┌─────────────────┐
                              │      ACTION     │
                              └─────────────────┘

AI output → human verification → human judgment → human responsibility

That is the distinction I care about most: not “can AI do it?” but “should AI do it — and who stays responsible if it goes wrong?”

01 / Deepfakes are making reality harder to trust

For years, the internet taught us to be skeptical. Photos could be edited. Videos could be manipulated. People could lie. But creating convincing fake media still required some effort.

Generative AI changes the economics. A person can now create images, voices and videos that look or sound like real people without having the traditional skills required to produce them. And that affects ordinary people too.

Someone can imitate your voice. Someone can create a fake picture of you. Someone can generate a video of you saying something you never said.

Then comes the bigger problem. What happens when real evidence can be dismissed as fake?

Imagine someone showing you a genuine recording and the immediate response being:

"That's probably AI."

The technology doesn't just make fake things easier to create. It makes genuine things easier to doubt. I don't think that's healthy for the internet.

There is evidence behind this concern. The FBI has warned that criminals are using AI for sophisticated phishing, social engineering, and voice/video-cloning scams — specifically noting that AI can increase the speed, scale and automation of attacks.

02 / AI makes scams easier to scale

Scammers don't need to become AI experts. They just need tools.

AI can help generate messages, translate them, personalize them and make them sound more natural. Voice cloning makes things even worse.

A scammer doesn't necessarily need to convince thousands of people. They only need to convince enough people to make the operation profitable. And emotional manipulation doesn't require technical sophistication.

Imagine receiving a call that sounds exactly like someone you know asking for money. You're not going to stop and think about language models. You're going to react to the person you think is calling you.

That's what bothers me. AI can make manipulation cheaper. And when manipulation becomes cheap, there is no reason to expect less of it.

Evidence. The same FBI warning describes AI-enhanced phishing and social engineering as an increasing threat — not a sci‑fi scenario, but something already in use by cyber criminals.

03 / AI can industrialize cybercrime

I've spent enough time around websites, servers, databases and development to know that security is already difficult. There are vulnerabilities everywhere. Badly configured servers. Weak passwords. Outdated plugins. Phishing attacks. Automated scanners constantly looking for something to exploit.

AI doesn't create all of these problems. But it can potentially make some parts of attacking and defending systems faster — generate code, analyze information, create phishing content, automate repetitive tasks, customize messages, assist with research.

Attackers can use AI. Defenders can use AI too. But that doesn't make me relaxed about it. It means we're potentially accelerating the entire fight.

And when attacking becomes cheaper, smaller organizations become more exposed. You don't need a highly skilled attacker manually working for days if automation can do a significant part of the work.

Evidence. When the FBI talks about AI increasing the speed, scale and automation of cyber crime, this is the part I hear: industrializing attacks, not inventing brand-new magic. See the FBI advisory.

04 / AI can manufacture the illusion of public opinion

This is one of the parts I find particularly disturbing.

AI can generate text extremely quickly — comments, reviews, posts, replies, articles, messages, arguments. Imagine thousands of AI-generated accounts repeating the same idea.

A person scrolling through social media doesn't see "AI-generated account." They see what appears to be another human being. Then another. Then another. Eventually it can look like everyone agrees. But perhaps nobody actually does.

That's the problem. AI doesn't only make misinformation easier. It can make fake consensus easier.

Humans naturally look at what other people think. If we can't tell whether the people we're interacting with are real, that social signal starts breaking down. And I don't think we've fully understood what that means yet.

05 / AI can scale human bias

AI is often presented as objective because it is a machine. I don't buy that.

Machines don't grow up outside society. AI systems are trained using data produced by humans. And humans have biases. Our history contains discrimination, stereotypes, unequal treatment and bad decisions. If those patterns exist in the data, an automated system can potentially reproduce them.

The problem becomes much bigger when the system is used at scale — recruitment, credit, insurance, housing, education, healthcare, security.

If one person makes a bad decision, that's one bad decision. If an automated system repeatedly makes the same kind of bad decision, it can affect thousands of people before anyone notices. And because the decision came from a computer, people may assume it is more objective than a human decision.

That's what concerns me. Automation can give bias a technical-looking face.

Evidence. The NIST AI Risk Management Framework exists specifically to help organizations manage risks to people and society from AI systems. Its Generative AI Profile calls out harmful bias among other trustworthiness risks — the kind of scaled damage I’m describing here.

06 / AI needs our data

This is probably one of the easiest risks to ignore because data doesn't feel physical.

You don't see your browsing history sitting on a desk. You don't see every search you've made. You don't see every photograph, message, voice recording or document as one giant profile. But put enough information together and you can learn a lot about someone — what they like, where they go, what they search for, who they communicate with, what they buy, what they are interested in, what they are worried about.

AI makes large-scale analysis of information increasingly useful. And that means data becomes increasingly valuable.

My problem isn't simply that companies want data. Companies have always wanted data. My problem is the direction we're heading:

More data. More analysis. More personalization. More prediction.

At some point I have to ask:

How much of a person should a technology company be able to know?

I don't think the answer should automatically be "as much as technically possible."

Evidence. Privacy is a core trustworthiness concern in the NIST AI RMF and related generative-AI guidance — not because every company is malicious, but because more data plus more prediction changes the risk surface.

07 / Personalization can become manipulation

Personalization sounds harmless. A system understands what you like and gives you better recommendations. Fine. But understanding someone can also mean understanding how to influence them — what makes them angry, what scares them, what gets their attention, what keeps them watching, what makes them buy something, what makes them change their mind.

AI can potentially make that interaction much more personalized. And that's where I become uncomfortable. Traditional advertising tries to understand groups. AI can potentially understand individuals. There is a difference.

If a system knows exactly which argument is most effective on me, is it helping me make a decision? Or is it making the decision easier to manipulate? I don't think that line is as clear as the AI industry sometimes makes it sound.

08 / AI can be confidently wrong

Anyone who has used AI seriously has probably seen this. You ask a question. You get a beautifully written answer. It sounds certain. Then you check it. And it's wrong.

Maybe the code doesn't work. Maybe the package doesn't exist. Maybe the documentation was misunderstood. Maybe the answer simply invented something.

The problem isn't that humans make mistakes. We obviously do. The problem is that AI can produce mistakes at enormous speed while presenting them in a very convincing way. That's dangerous because confidence affects trust.

A badly written answer makes you suspicious. A polished answer makes you want to believe it. This is especially risky when people stop checking.

The worst workflow I can imagine is:

AI generates → human assumes → nobody verifies.

And the more capable AI becomes, the easier that workflow may become.

BAD WORKFLOW

AI generates
     ↓
Human assumes
     ↓
Nobody verifies
     ↓
ACTION
RESPONSIBLE WORKFLOW

AI generates
     ↓
Human verifies
     ↓
Human questions
     ↓
Human decides
     ↓
Human remains responsible

Evidence. Frameworks like the NIST AI Risk Management Framework treat reliability, safety and human oversight as management problems — not as optional niceties after the demo looks impressive.

09 / AI can make us worse at our own jobs

This is probably the most personal section for me.

I'm a developer. I understand why developers use AI. It can save time. Explain an unfamiliar function. Suggest approaches. Generate boilerplate. Help investigate bugs. That's useful.

But there's another side. Software development isn't just typing code. It's understanding systems. Debugging. Reading documentation. Thinking through edge cases. Understanding why something works. Recognizing when something doesn't make sense.

If I let AI do too much of that thinking for me, I may become faster at producing code while becoming worse at understanding it.

The same thing can happen to students. If AI writes every assignment, they may finish without learning the subject. It can happen to designers, writers, researchers, developers, managers — almost anyone.

The danger isn't that AI makes us lazy for one afternoon. The danger is long-term skill erosion. If we stop practicing a skill because a machine can do it, eventually we may not have that skill anymore.

Evidence. UNESCO’s guidance on generative AI in education and research argues for a human-centred approach — critical thinking, human capacity, privacy and ethical use. More recently, UNESCO’s discussion of learning in the AI era warns against AI displacing learning itself. That matches what I see as a developer: finishing the task is not the same as still being able to do the thinking.

10 / Autonomous agents change the equation

A chatbot answering a question is one thing. An AI system that can take actions is another.

Imagine giving an agent a goal and allowing it to research, write code, use tools, make changes, test things and continue working without asking for approval at every step. That's powerful. And that's exactly why I don't trust it blindly.

Every additional capability creates another place where something can go wrong. A wrong assumption at the beginning can affect everything that happens afterward. And if the system acts faster than a human can monitor it, the traditional idea of "a human will catch the mistake" becomes much weaker.

I'm not saying autonomous AI should never exist. I'm saying that giving software more independence should make us more cautious, not less.

Evidence. As systems gain more autonomy, risk-management approaches like NIST’s AI RMF become more relevant, not less — because the blast radius of a wrong assumption grows with every unsupervised step.

11 / Critical systems are not places to experiment casually

AI can potentially be useful in hospitals, transportation, finance, logistics, telecommunications, industrial systems and energy infrastructure. But there is a major difference between optimizing a website and influencing something people depend on.

If an AI gives me the wrong CSS suggestion, I can fix it. If an AI system contributes to a failure in a critical service, the consequences can be much larger.

That's why I don't like the idea that efficiency should automatically win. Sometimes a slower system with more human oversight is better. Sometimes redundancy is better. Sometimes manual verification is better. Sometimes the boring solution is the safe solution.

We shouldn't confuse automation with progress. They're not the same thing.

Evidence. NIST’s work on AI risk management exists because high-impact AI systems can affect individuals, organizations and society — exactly the gap between “wrong CSS tip” and “critical service failure.” See the AI Risk Management Framework.

12 / AI-powered weapons are a line I don't want crossed casually

Technology and warfare have always been connected. AI doesn't change that basic fact. What changes is the potential level of automation — surveillance, target identification, navigation, drones, analysis, decision-support systems.

The closer software gets to making decisions about human life, the more uncomfortable I become. A machine doesn't understand the value of a human life in the same way a human does. It follows its design, its data and its objectives. And when something goes wrong, saying "the system made a mistake" isn't an acceptable answer when someone is dead.

I don't think we should treat autonomous weapons as just another exciting application of AI. The consequences are too serious.

13 / AI is concentrating technological power

There's another problem that doesn't get enough attention. The most advanced AI systems aren't cheap. They require enormous computing resources, hardware, electricity, data and highly specialized talent. That means the most powerful systems are increasingly controlled by organizations with enormous resources. And that creates a concentration of power.

A small company can build a useful application on top of an existing model. But the companies controlling the underlying infrastructure have a very different level of influence. They can decide what models exist, what capabilities are available, what information systems can access, what gets restricted, what gets prioritized, what businesses can build on top.

I don't think every large technology company is evil. That's not my argument. My argument is simpler:

Power concentrated in a small number of organizations deserves scrutiny.

AI makes that concentration potentially much more important.

14 / The biggest risk might be us

This is where I differ from the typical AI apocalypse story. I don't think the biggest danger is necessarily a robot waking up and deciding humans are the enemy.

Humans don't need AI to become evil. We are perfectly capable of making bad decisions ourselves. The real danger may be that we gradually hand over more and more responsibility because AI is convenient.

First it's writing. Then research. Then customer service. Then hiring. Then security. Then financial decisions. Then infrastructure. Then things we haven't even thought about yet.

Each individual step might seem reasonable. But taken together, we could end up with something very different:

A society that depends on systems it cannot fully understand or control.

And once dependency becomes deep enough, saying "just turn it off" stops being realistic. That's the part that scares me. Not a robot with feelings. Not a machine that hates humanity.

Human beings voluntarily giving away control because the machine is convenient.

What I personally think

I'm not anti-technology. My entire career is built around technology. I enjoy building software. I enjoy solving technical problems. I like automation when I understand what it is doing. I like tools that make developers more productive.

So why am I so critical of AI? Because I think we're confusing capability with justification.

Just because a machine can do something doesn't mean it should. Just because something can be automated doesn't mean it should be automated. Just because AI can make a decision doesn't mean we should let it make that decision. And just because something is faster doesn't mean it is better.

There is also something else I don't like. The pressure to adopt AI is becoming difficult to escape. Use AI or fall behind. Automate or become inefficient. Generate more. Produce faster. Do more with fewer people. Everything becomes a race.

But where is the finish line? How much faster do we actually need to work? How much content do we really need? How much automation is enough? And what happens to the people whose work becomes unnecessary?

Those questions deserve more attention than another benchmark showing that an AI model is 5% better than the previous one.

So… is AI dangerous?

Yes. I think it can be. And I think some of the risks are already here.

We have deepfakes. AI-assisted scams. Misinformation. Privacy concerns. Automated decisions. Cybersecurity problems. Skill dependency. Mass-generated content. And increasingly autonomous systems.

We don't need to wait for a science-fiction disaster before taking those problems seriously. I'm not saying we should throw every computer away. I'm not saying AI has no useful applications. I'm saying something much simpler:

We should stop treating AI adoption as automatically good.

Every new capability should come with a question:

Should we actually use it?

Not:

Can we use it?

Those are different questions.

Technology should make humans more capable. It shouldn't make humans unnecessary. It shouldn't make us less skilled. It shouldn't make privacy irrelevant. It shouldn't make truth impossible to verify. And it definitely shouldn't make human responsibility disappear.

Maybe I'm too skeptical. Maybe I'm not skeptical enough. I don't know. But I would rather be called overly cautious today than discover later that we gave away too much control because the technology was convenient.

I use AI. I will probably continue to use some AI tools. But using something doesn't mean trusting it. And being impressed by something doesn't mean surrendering judgment to it.

AI is powerful. That's exactly why I think we should be careful about how much power we give it.

The question isn't whether AI can replace humans.

The question is:

Why are we so comfortable building a future where it might?

Sources & further reading

This article is a personal opinion, but some of the risks discussed here are also documented by organizations working on AI safety, cybersecurity, education and risk management.

These sources do not prove every argument in this article. They provide independent evidence and frameworks for some of the risks and questions discussed above.

Ich nutze KI. Ich vertraue ihr trotzdem nicht.

Veröffentlicht: 20. September 2026 · 13 Min. Lesezeit · Autor: Shoaib Sarwar

Hinweis: Das ist meine persönliche Meinung zum heutigen Stand. Keine Rechts‑, Sicherheits‑ oder Fachberatung. Du darfst anderer Meinung sein. Das ist okay. Ich bin Softwareentwickler, kein KI‑Forscher, und ich tue nicht so, als hätte ich alle Antworten. Meine Meinung kann sich ändern, wenn ich dazulerne, wenn sich die Technik ändert oder wenn jemand ein besseres Argument bringt.

Ich arbeite jeden Tag mit Technik.

Ich schreibe Software. Ich arbeite mit PHP, Symfony, Contao, WordPress, JavaScript, Datenbanken, Docker, Linux und Servern. Ich baue Websites, Backend‑Systeme, Browser‑Extensions und persönliche Projekte. Technik ist nichts, was ich von außen beobachte. Sie gehört zu meinem Alltag.

Und ja: Ich nutze KI.

Genau deshalb werde ich unruhiger, wohin wir das Ganze treiben.

KI kann beeindruckend sein. Sie kann in Sekunden Code schreiben. Unbekannte Technik erklären. Bilder erzeugen, Dokumente zusammenfassen, Informationen analysieren und Aufgaben automatisieren, die früher viel länger dauerten.

Aber irgendwann hat sich die Debatte verschoben.

Wir haben aufgehört zu fragen:

„Wobei kann KI uns helfen?“

und angefangen zu fragen:

„Warum soll das überhaupt noch ein Mensch machen?“

Diese zweite Frage macht mir Sorgen.

Weil KI längst kein reines Entwickler‑Tool mehr ist. Wir stecken sie in Bildung, Recruiting, Kundenservice, Gesundheit, Finanzen, Sicherheit, Content, Softwareentwicklung, Überwachung und zunehmend wichtige Entscheidungen. Und wir machen das sehr schnell.

Ich glaube nicht, dass KI bewusst werden muss. Ich glaube nicht, dass sie Menschen hassen muss. Ich glaube nicht, dass wir eine Sci‑Fi‑Roboter‑Apokalypse brauchen. Es gibt schon genug Gründe zur Vorsicht. 

                 ┌─────────────────────┐
                 │      KI-SYSTEM      │
                 └──────────┬──────────┘
                            │
                            ▼
                 ┌─────────────────────┐
                 │   KI ERZEUGT /     │
                 │   EMPFIEHLT /      │
                 │   VORHERSAGT       │
                 └──────────┬──────────┘
                            │
                            ▼
                 ┌─────────────────────┐
                 │  MENSCH PRÜFT      │
                 │                     │
                 │ Ist es korrekt?     │
                 │ Ist es angemessen?  │
                 │ Welche Risiken?     │
                 └──────────┬──────────┘
                            │
                    ┌───────┴───────┐
                    │               │
                  NEIN             JA
                    │               │
                    ▼               ▼
          ┌────────────────┐  ┌─────────────────┐
          │ STOP / QUELLEN │  │ MENSCHLICHE     │
          │ PRÜFEN / FIXEN │  │ ENTSCHEIDUNG +  │
          └────────────────┘  │ VERANTWORTUNG   │
                              └────────┬────────┘
                                       │
                                       ▼
                              ┌─────────────────┐
                              │     HANDLUNG    │
                              └─────────────────┘

KI-Output → menschliche Prüfung → menschliches Urteil → menschliche Verantwortung

Das ist die Unterscheidung, die mir am wichtigsten ist: nicht „kann KI das?“ sondern „soll KI das — und wer bleibt verantwortlich, wenn es schiefgeht?“

01 / Deepfakes machen Realität schwerer zu glauben

Jahrelang hat uns das Internet Skepsis beigebracht. Fotos konnten bearbeitet werden. Videos manipuliert. Menschen lügen. Aber überzeugend Fake‑Medien zu erzeugen, hat trotzdem Aufwand gekostet.

Generative KI ändert die Ökonomie. Jemand kann jetzt Bilder, Stimmen und Videos erzeugen, die wie echte Menschen wirken — ohne die klassischen Skills dafür. Und das betrifft auch normale Leute.

Jemand kann deine Stimme nachmachen. Ein Fake‑Bild von dir erzeugen. Ein Video, in dem du etwas sagst, das du nie gesagt hast.

Dann kommt das größere Problem: Was passiert, wenn echte Beweise als Fake abgetan werden können?

Stell dir vor, jemand zeigt dir eine echte Aufnahme und die erste Reaktion ist:

„Das ist wahrscheinlich KI.“

Die Technik macht nicht nur Fake leichter. Sie macht Echtes leichter anzweifelbar. Das finde ich fürs Internet ungesund.

Dafür gibt es Belege. Das FBI warnt, dass Kriminelle KI für raffiniertes Phishing, Social Engineering und Voice-/Video-Cloning nutzen — und dass KI Tempo, Skalierung und Automatisierung von Angriffen erhöhen kann.

02 / KI macht Betrug leichter skalierbar

Betrüger müssen keine KI‑Experten werden. Sie brauchen Tools.

KI kann Nachrichten erzeugen, übersetzen, personalisieren und natürlicher klingen lassen. Voice‑Cloning macht es noch schlimmer.

Ein Betrüger muss nicht tausende Menschen überzeugen. Es reichen genug Menschen, damit sich die Operation lohnt. Emotionale Manipulation braucht keine technische Raffinesse.

Stell dir einen Anruf vor, der genau wie jemand klingt, den du kennst, und um Geld bittet. Du denkst nicht an Language Models. Du reagierst auf die Person, die du zu hören glaubst.

Das stört mich. KI kann Manipulation billiger machen. Und wenn Manipulation billig wird, gibt es keinen Grund, weniger davon zu erwarten.

Beleg. Dieselbe FBI-Warnung beschreibt KI-gestütztes Phishing und Social Engineering als wachsende Bedrohung — kein Sci‑Fi-Szenario, sondern etwas, das Cyberkriminelle bereits nutzen.

03 / KI kann Cybercrime industrialisieren

Ich war lange genug um Websites, Server, Datenbanken und Entwicklung herum, um zu wissen: Sicherheit ist schon schwer. Schwachstellen überall. Schlecht konfigurierte Server. Schwache Passwörter. Veraltete Plugins. Phishing. Automatisierte Scanner, die ständig nach etwas suchen.

KI erzeugt nicht all diese Probleme. Aber sie kann Teile von Angriff und Verteidigung schneller machen — Code erzeugen, Infos analysieren, Phishing‑Texte schreiben, Routine automatisieren, Nachrichten anpassen, Recherche unterstützen.

Angreifer können KI nutzen. Verteidiger auch. Entspannt bin ich deshalb nicht. Es heißt eher: der ganze Kampf wird beschleunigt.

Und wenn Angriffe billiger werden, sind kleinere Organisationen stärker exponiert. Du brauchst keinen hochqualifizierten Angreifer, der tagelang manuell arbeitet, wenn Automatisierung einen großen Teil der Arbeit übernimmt.

Beleg. Wenn das FBI davon spricht, dass KI Tempo, Skalierung und Automatisierung von Cyberkriminalität erhöht, höre ich genau das: Angriffe industrialisieren — nicht magische neue Hacks erfinden. Siehe die FBI-Mitteilung.

04 / KI kann den Eindruck öffentlicher Meinung erzeugen

Das finde ich besonders unheimlich.

KI kann extrem schnell Text erzeugen — Kommentare, Reviews, Posts, Antworten, Artikel, Nachrichten, Argumente. Stell dir tausende KI‑Accounts vor, die dieselbe Idee wiederholen.

Wer durch Social Media scrollt, sieht nicht „KI‑Account“. Er sieht, was wie ein Mensch aussieht. Dann noch einen. Dann noch einen. Irgendwann wirkt es, als wären alle einer Meinung. Vielleicht ist es niemand.

Das ist das Problem. KI macht nicht nur Fehlinformation leichter. Sie kann falschen Konsens leichter machen.

Menschen schauen natürlich darauf, was andere denken. Wenn wir nicht erkennen können, ob die Leute echt sind, bricht dieses soziale Signal zusammen. Und ich glaube nicht, dass wir das schon richtig verstanden haben.

05 / KI kann menschliche Vorurteile skalieren

KI wird oft als objektiv verkauft, weil sie eine Maschine ist. Das kaufe ich nicht.

Maschinen wachsen nicht außerhalb der Gesellschaft auf. KI‑Systeme werden mit Daten trainiert, die Menschen erzeugt haben — und Menschen haben Vorurteile. Unsere Geschichte enthält Diskriminierung, Stereotype, ungleiche Behandlung und schlechte Entscheidungen. Wenn diese Muster in den Daten stecken, kann ein automatisiertes System sie wiederholen.

Das Problem wird größer, wenn das System im großen Maßstab eingesetzt wird — Recruiting, Kredit, Versicherung, Wohnen, Bildung, Gesundheit, Sicherheit.

Eine schlechte menschliche Entscheidung ist eine schlechte Entscheidung. Ein System, das denselben Fehler wiederholt, kann tausende Menschen treffen, bevor jemand das Muster sieht. Und weil die Entscheidung vom Computer kam, wirkt sie oft objektiver als eine menschliche.

Genau das stört mich. Automatisierung kann Bias ein technisches Gesicht geben.

Beleg. Das NIST AI Risk Management Framework hilft Organisationen, Risiken von KI-Systemen für Menschen und Gesellschaft zu managen. Das Generative AI Profile nennt unter anderem schädlichen Bias — also genau die Art skalierter Schäden, die ich hier meine.

06 / KI braucht unsere Daten

Das ist einer der Risiken, die man am leichtesten ignoriert — weil Daten sich nicht physisch anfühlen.

Du siehst deinen Browserverlauf nicht auf einem Schreibtisch liegen. Nicht jede Suche. Nicht jedes Foto, jede Nachricht, jede Aufnahme oder jedes Dokument als ein großes Profil. Aber genug Informationen zusammen — und man lernt viel über jemanden: Vorlieben, Orte, Suchen, Kontakte, Käufe, Interessen, Sorgen.

KI macht großflächige Analyse nützlicher. Und damit werden Daten wertvoller.

Mein Problem ist nicht einfach, dass Firmen Daten wollen. Das wollten sie schon immer. Mein Problem ist die Richtung:

Mehr Daten. Mehr Analyse. Mehr Personalisierung. Mehr Vorhersage.

Irgendwann muss ich fragen:

Wie viel von einem Menschen sollte ein Tech‑Unternehmen wissen dürfen?

Die Antwort sollte nicht automatisch „so viel wie technisch möglich“ sein.

Beleg. Privatsphäre ist ein zentrales Trustworthiness-Thema im NIST AI RMF und verwandten Generative-AI-Leitfäden — nicht weil jede Firma böse ist, sondern weil mehr Daten plus mehr Vorhersage die Risikofläche verändert.

07 / Personalisierung kann Manipulation werden

Personalisierung klingt harmlos. Ein System versteht, was du magst, und empfiehlt besser. Okay. Aber jemanden zu verstehen kann auch heißen, zu verstehen, wie man ihn beeinflusst — was wütend macht, was Angst macht, was Aufmerksamkeit holt, was am Schauen hält, was zum Kauf bringt, was die Meinung ändert.

KI kann diese Interaktion deutlich persönlicher machen. Genau da werde ich unruhig. Klassische Werbung versteht Gruppen. KI kann potenziell Individuen verstehen. Das ist ein Unterschied.

Wenn ein System genau weiß, welches Argument bei mir am besten zieht — hilft es mir bei der Entscheidung? Oder macht es die Entscheidung leichter manipulierbar? Diese Linie finde ich nicht so klar, wie die KI‑Branche manchmal tut.

08 / KI kann selbstsicher falsch liegen

Wer KI ernsthaft genutzt hat, kennt das wahrscheinlich. Du fragst. Du bekommst eine schön geschriebene Antwort. Sie klingt sicher. Dann prüfst du. Und sie ist falsch.

Der Code läuft nicht. Das Package existiert nicht. Die Doku wurde missverstanden. Oder die Antwort hat einfach etwas erfunden.

Das Problem ist nicht, dass Menschen Fehler machen. Das tun wir offensichtlich. Das Problem ist, dass KI Fehler in enormer Geschwindigkeit erzeugt und dabei sehr überzeugend klingt. Selbstsicherheit beeinflusst Vertrauen.

Eine schlecht geschriebene Antwort macht misstrauisch. Eine polierte Antwort will man glauben. Besonders riskant wird das, wenn Leute aufhören zu prüfen.

Der schlechteste Workflow, den ich mir vorstellen kann:

KI erzeugt → Mensch nimmt an → niemand verifiziert.

Und je fähiger KI wird, desto leichter kann dieser Workflow werden.

SCHLECHTER WORKFLOW

KI erzeugt
     ↓
Mensch nimmt an
     ↓
Niemand prüft
     ↓
HANDLUNG
VERANTWORTLICHER WORKFLOW

KI erzeugt
     ↓
Mensch prüft
     ↓
Mensch hinterfragt
     ↓
Mensch entscheidet
     ↓
Mensch bleibt verantwortlich

Beleg. Frameworks wie das NIST AI Risk Management Framework behandeln Zuverlässigkeit, Sicherheit und menschliche Kontrolle als Management-Aufgabe — nicht als optionales Nice-to-have nach einer beeindruckenden Demo.

09 / KI kann uns in unserem eigenen Job schlechter machen

Das ist für mich der persönlichste Teil.

Ich bin Entwickler. Ich verstehe, warum Entwickler KI nutzen. Zeit sparen. Eine unbekannte Funktion erklären. Ansätze vorschlagen. Boilerplate erzeugen. Bei Bugs helfen. Das ist nützlich.

Aber es gibt eine andere Seite. Softwareentwicklung ist nicht nur Tippen. Es ist Systeme verstehen. Debuggen. Doku lesen. Edge Cases durchdenken. Verstehen, warum etwas funktioniert. Erkennen, wann etwas keinen Sinn ergibt.

Wenn ich KI zu viel von diesem Denken überlasse, werde ich vielleicht schneller beim Produzieren von Code — und schlechter darin, ihn zu verstehen.

Dasselbe kann Studenten passieren. Wenn KI jede Aufgabe schreibt, wird die Aufgabe fertig — ohne dass das Thema sitzt. Designer. Autoren. Forscher. Entwickler. Manager. Fast jeder.

Die Gefahr ist nicht, dass KI uns einen Nachmittag faul macht. Die Gefahr ist langfristiger Skill‑Verlust. Wenn wir eine Fähigkeit nicht mehr üben, weil eine Maschine sie kann, haben wir sie irgendwann nicht mehr.

Beleg. Die UNESCO-Leitlinien zu generativer KI in Bildung und Forschung plädieren für einen menschenzentrierten Ansatz — kritisches Denken, menschliche Kompetenz, Privatsphäre und ethische Nutzung. Und UNESCOs Diskussion über Lernen im KI-Zeitalter warnt davor, dass KI Lernen verdrängen könnte. Das trifft, was ich als Entwickler sehe: die Aufgabe fertig zu bekommen ist nicht dasselbe, wie das Denken noch selbst zu können.

10 / Autonome Agenten ändern die Gleichung

Ein Chatbot, der eine Frage beantwortet, ist eine Sache. Ein KI‑System, das handeln kann, ist eine andere.

Stell dir vor, du gibst einem Agenten ein Ziel und er darf recherchieren, Code schreiben, Tools nutzen, Änderungen machen, testen und weiterarbeiten — ohne bei jedem Schritt nachzufragen. Das ist mächtig. Genau deshalb vertraue ich dem nicht blind.

Jede zusätzliche Fähigkeit ist ein weiterer Ort, an dem etwas schiefgehen kann. Eine falsche Annahme am Anfang kann alles Weitere verzerren. Und wenn das System schneller handelt, als ein Mensch mithalten kann, wird die Idee „ein Mensch fängt den Fehler“ schwächer.

Ich sage nicht, dass autonome KI nie existieren sollte. Ich sage: Mehr Unabhängigkeit für Software sollte uns vorsichtiger machen — nicht lockerer.

Beleg. Je autonomer Systeme werden, desto relevanter werden Ansätze wie das NIST AI RMF — weil der Schaden einer falschen Annahme mit jedem unüberwachten Schritt wächst.

11 / Kritische Systeme sind kein Ort für lockere Experimente

KI kann in Krankenhäusern, Verkehr, Finanzen, Logistik, Telekom, Industrie und Energie nützlich sein. Aber es gibt einen großen Unterschied zwischen einer Website optimieren und etwas beeinflussen, wovon Menschen abhängen.

Wenn KI mir den falschen CSS‑Tipp gibt, kann ich das fixen. Wenn ein KI‑System zu einem Ausfall in einem kritischen Dienst beiträgt, sind die Folgen viel größer.

Deshalb mag ich die Idee nicht, dass Effizienz automatisch gewinnt. Manchmal ist ein langsameres System mit mehr menschlicher Kontrolle besser. Manchmal Redundanz. Manchmal manuelle Prüfung. Manchmal ist die langweilige Lösung die sichere.

Wir sollten Automatisierung nicht mit Fortschritt verwechseln. Das ist nicht dasselbe.

Beleg. NISTs Arbeit zu AI-Risikomanagement existiert, weil wirkungsstarke KI-Systeme Menschen, Organisationen und Gesellschaft betreffen können — genau der Unterschied zwischen „falschem CSS-Tipp“ und „Ausfall eines kritischen Dienstes“. Siehe das AI Risk Management Framework.

12 / KI‑Waffen sind eine Linie, die ich nicht beiläufig überschreiten will

Technik und Krieg waren immer verbunden. Das ändert KI nicht. Was sich ändert, ist das mögliche Maß an Automatisierung — Überwachung, Zielerkennung, Navigation, Drohnen, Analyse, Entscheidungshilfe.

Je näher Software an Entscheidungen über Menschenleben kommt, desto unwohler fühle ich mich. Eine Maschine versteht den Wert eines Menschenlebens nicht wie ein Mensch. Sie folgt Design, Daten und Zielen. Und wenn etwas schiefgeht, ist „das System hat einen Fehler gemacht“ keine akzeptable Antwort, wenn jemand tot ist.

Autonome Waffen sollten wir nicht wie eine weitere spannende KI‑Anwendung behandeln. Die Folgen sind zu ernst.

13 / KI konzentriert technologische Macht

Ein weiteres Problem, das zu wenig Aufmerksamkeit bekommt: Die fortschrittlichsten KI‑Systeme sind nicht billig. Sie brauchen enorme Rechenleistung, Hardware, Strom, Daten und hochspezialisierte Leute. Die mächtigsten Systeme landen also zunehmend bei Organisationen mit enormen Ressourcen. Das ist Machtkonzentration.

Eine kleine Firma kann eine nützliche Anwendung auf einem bestehenden Modell bauen. Aber wer die zugrunde liegende Infrastruktur kontrolliert, hat eine ganz andere Einflussstufe — welche Modelle es gibt, welche Fähigkeiten verfügbar sind, worauf Systeme zugreifen dürfen, was eingeschränkt wird, was priorisiert wird, was man darauf aufbauen kann.

Ich halte nicht jedes große Tech‑Unternehmen für böse. Das ist nicht mein Punkt. Mein Punkt ist einfacher:

Macht in wenigen Organisationen verdient Prüfung.

KI macht diese Konzentration potenziell viel wichtiger.

14 / Das größte Risiko könnten wir selbst sein

Hier unterscheide ich mich von der typischen KI‑Apokalypse‑Geschichte. Ich glaube nicht, dass die größte Gefahr unbedingt ein Roboter ist, der aufwacht und Menschen zum Feind erklärt.

Menschen brauchen keine KI, um böse zu werden. Schlechte Entscheidungen können wir selbst. Die echte Gefahr könnte sein, dass wir schrittweise immer mehr Verantwortung abgeben — weil KI bequem ist.

Erst Schreiben. Dann Recherche. Dann Kundenservice. Dann Hiring. Dann Sicherheit. Dann Finanzentscheidungen. Dann Infrastruktur. Dann Dinge, an die wir noch gar nicht denken.

Jeder einzelne Schritt kann vernünftig wirken. Zusammen könnte etwas ganz anderes dabei herauskommen:

Eine Gesellschaft, die von Systemen abhängt, die sie nicht vollständig versteht oder kontrolliert.

Und wenn die Abhängigkeit tief genug ist, wird „einfach abschalten“ unrealistisch. Das ist der Teil, der mir Angst macht. Nicht ein Roboter mit Gefühlen. Nicht eine Maschine, die die Menschheit hasst.

Menschen, die Kontrolle freiwillig abgeben, weil die Maschine bequem ist.

Was ich persönlich denke

Ich bin nicht anti‑Technik. Meine ganze Karriere basiert darauf. Ich baue gerne Software. Ich löse gerne technische Probleme. Ich mag Automatisierung, wenn ich verstehe, was sie tut. Ich mag Tools, die Entwickler produktiver machen.

Warum bin ich dann so kritisch gegenüber KI? Weil wir Fähigkeit mit Rechtfertigung verwechseln.

Nur weil eine Maschine etwas kann, heißt das nicht, dass sie es soll. Nur weil etwas automatisierbar ist, heißt das nicht, dass man es automatisieren sollte. Nur weil KI eine Entscheidung treffen kann, heißt das nicht, dass wir sie treffen lassen sollten. Und nur weil etwas schneller ist, heißt das nicht, dass es besser ist.

Und noch etwas: Der Druck, KI zu übernehmen, wird schwer zu entkommen. KI nutzen oder zurückfallen. Automatisieren oder ineffizient sein. Mehr erzeugen. Schneller produzieren. Mehr mit weniger Leuten. Alles wird zum Rennen.

Aber wo ist die Ziellinie? Wie viel schneller müssen wir wirklich arbeiten? Wie viel Content brauchen wir wirklich? Wie viel Automatisierung reicht? Und was passiert mit den Menschen, deren Arbeit überflüssig wird?

Diese Fragen verdienen mehr Aufmerksamkeit als ein weiteres Benchmark, das zeigt, dass ein Modell 5 % besser ist als das vorherige.

Also … ist KI gefährlich?

Ja. Ich denke, sie kann es sein. Und ich denke, manche Risiken sind schon da.

Deepfakes. KI‑gestützte Betrügereien. Desinformation. Privatsphäre. Automatisierte Entscheidungen. Cybersecurity‑Probleme. Skill‑Abhängigkeit. Massenhaft generierter Content. Und zunehmend autonome Systeme.

Wir müssen keine Science‑Fiction‑Katastrophe abwarten, bevor wir das ernst nehmen. Ich sage nicht, dass wir jeden Computer wegwerfen sollen. Ich sage nicht, dass KI keine nützlichen Anwendungen hat. Ich sage etwas viel Einfacheres:

Wir sollten aufhören, KI‑Adoption als automatisch gut zu behandeln.

Jede neue Fähigkeit sollte mit einer Frage kommen:

Sollten wir sie wirklich nutzen?

Nicht:

Können wir sie nutzen?

Das sind verschiedene Fragen.

Technik sollte Menschen fähiger machen. Sie sollte Menschen nicht überflüssig machen. Sie sollte uns nicht weniger skilled machen. Privatsphäre nicht egal. Wahrheit nicht unüberprüfbar. Und menschliche Verantwortung sollte nicht verschwinden.

Vielleicht bin ich zu skeptisch. Vielleicht nicht skeptisch genug. Ich weiß es nicht. Aber ich wäre lieber heute „zu vorsichtig“ genannt, als später festzustellen, dass wir zu viel Kontrolle abgegeben haben, weil die Technik bequem war.

Ich nutze KI. Ich werde wahrscheinlich weiter einige KI‑Tools nutzen. Aber etwas zu nutzen heißt nicht, ihm zu vertrauen. Und beeindruckt zu sein heißt nicht, das eigene Urteil abzugeben.

KI ist mächtig. Genau deshalb sollten wir vorsichtig sein, wie viel Macht wir ihr geben.

Die Frage ist nicht, ob KI Menschen ersetzen kann.

Die Frage ist:

Warum sind wir so entspannt dabei, eine Zukunft zu bauen, in der sie es vielleicht tut?

Quellen & weiterführende Lektüre

Dieser Artikel ist eine persönliche Meinung. Einige der diskutierten Risiken werden aber auch von Organisationen dokumentiert, die zu KI-Sicherheit, Cybersecurity, Bildung und Risikomanagement arbeiten.

Diese Quellen beweisen nicht jedes Argument in diesem Artikel. Sie liefern unabhängige Belege und Frameworks für einige der oben diskutierten Risiken und Fragen.