Visaktuālākie
civilizācijas evolūcijas riski un draudi
Kur
cilvēce var kolapsēt, novirzoties no ilgtspējīgas humānas attīstības
trajektorijas
Ierasti tradicionāli
eksistenciālie riski tiek formulēti kā ārēji vai tehnoloģiski draudi:
- atomkarš,
- nozīmīgas
klimata pārmaiņas,
- pandēmijas,
- nekontrolēts
mākslīgais intelekts,
- resursu
pieejamības konflikti,
- bioinženierijas
ļaunprātīga izmantošana.
Taču gandrīz visi šie riski praksē tiek aktivizēti,
pastiprināti vai netiek novērsti tieši cilvēku lēmumu dēļ, īpaši to cilvēku
dēļ, kuru rokās ir koncentrēta publiskā vara. Tas nozīnē, ka bīstamākie draudi nav tik daudz tehniskas vai ārējas dabas, bet tie pastāv un rodas no autoritāru valstu līderu organizētas un nācijām represīvi uzspiestas pašiznīcinošas rīcības!
Tādēļ civilizācijas eksistenciālais augstākās bīstamības, t.i., MEGADRAUDS ir līderības kvalitātes risks.
Tas nozīmē risku, ko rada:
- narcisms,
- atriebīgums,
- paranoja,
- empātijas
trūkums,
- autoritārisma
tieksmes,
- intelektuāla
stagnācija,
- nespēja
pieņemt kritiku,
- impulsivitāte,
- ideoloģiskais
fanātisms,
- realitātes
ignorance/falsifikācija,
- informācijas
burbulis ap līderi,
- morālās
atbildības deficīts.
Vēsturē tas viss regulāri atkārtojas!
Nevis tehnoloģijas pašas par sevi izraisīja
katastrofas, bet:
- personību
kulti,
- despotiski
valdnieki,
- paranoiski
diktatori,
- ideoloģijas
dēmonu apsēsti režīmi,
- līderi
ar vāju spriestspēju krīzēs.
Tātad mūsdienu civilizācijas
eksistenciālos riskus rada ne tik daudz tehnoloģijas un resursu deficīta izraisīti konflikti, bet jo
vairāk valstu līderu psiholoģiskā/profesionālā
kvalitāte, viņu subjektīvā pasaules uztvere un spriestspējas/lēmējspējas kompetence.
Cilvēce jau radījusi un
turpina radīt superjaudīgas tehnoloģijas, bet, diemžēl, joprojām uztic tās vispārcilvēciskajiem
kritērijiem/vērtībām maz atbilstošiem indivīdiem. Tas
ir līdzīgi kā dot kodolieroču aktivizācijas čemodānu cilvēkam bez
emocionālas inteliģences brieduma pārbaudes.
ⅩⅪ gadsimtā valstis
jāvērtē ne tikai pēc:
- IKP
lieluma,
- armijas
spēka varenuma,
- dabas
resursu bagātības,
- tehnoloģiju
progresa,
bet vispirms jau pēc:
Valstu politisko līderu lēmumu kvalitātes
kapacitātes
Tas ietver:
- vai
- būdami varas virsotnē, – viņi spēj saglabāt empātisko cilvēcību un savā
rīcībā vadīties no sabiedrības labuma kritērijiem,
- vai
spēj laika gaitā pašizglītoties,
- vai
spēj atzīt kļūdas,
- vai
spēj ņemt vērā ekspertu padomus,
- vai
spēj kontrolēt savu ego,
- vai
spēj domāt stratēģiski/ilgtermiņā.
Tieši šajā aspektā KOIS/HKP tipa sistēmas kļūst revolucionāras.
Jo tās ļauj nevis akli uzticēties personībām, bet
ieviest:
- institucionālu
racionalitāti,
- agrīno
brīdinājumu par destruktīvām tendencēm,
- daudzavotu
faktu pārbaudi,
- spriestspējas
kvalitātes indikatorus,
- ētisko
risku monitoringu,
- kolektīvās
korekcijas mehānismus.
Tas iezīmē nākotnes
politoloģijas aprises, kad valsts iekārta tiek
izvērtēta/analizēta nevis kā birokrātisks mehānisms, bet gan kā sociālās uzvedības, cilvēku rīcības jēgpilnas motivācijas
un emocionālājā inteliģencē balstītas spriestspējas/lēmējspējas nodrošināšanas sistēma.
Raugoties no civilizācijas
eksistenciālo draudu novēršanas pozīcijām, šāda pieeja iepējami ātrāk ir konstruktīvi
jāizdiskutē, lai to aprobētu un realizētu, kamēr vien tas nav par vēlu!
Civilizācijas
Līderības Risku Indekss (CLRI)
Definīcija
Civilizācijas Līderības/vadītprasmes Risku Indekss ir daudzdimensionāls analītisks rādītājs,
kas novērtē, cik lielā mērā konkrēta valsts līdera, valdības elites vai lēmējpieņēmēju
kopuma personiskās īpašības, psiholoģiskie modeļi, kognitīvās spējas un varas
izmantošanas stils rada risku sabiedrības stabilitātei, demokrātijai,
starptautiskajam mieram un civilizācijas ilgtspējai.
CLRI pamatmērķis
Savlaicīgi identificēt:
- destruktīvu
līderību,
- autoritāras
novirzes,
- militārās
eskalācijas riskus,
- institucionālās
degradācijas draudus,
- sabiedrības
manipulācijas centienus,
- sistēmisku
spriestspējas krīzi.
CLRI pamatformula
CLRI=∑(Ri×Wi)CLRI = \sum (R_i \times
W_i)CLRI=∑(Ri×Wi),
kur:
- Rᵢ
= konkrētā riska faktora vērtējums,
- Wᵢ
= svara koeficients.
Rezultāts skalā 0–100
- 0–20
= zems risks,
- 21–40
= paaugstināta piesardzība,
- 41–60
= augsts risks,
- 61–80
= ļoti augsts risks,
- 81–100
= kritisks civilizācijas izdzīvošanas risks.
CLRI galvenās dimensijas
1. Psiholoģiskā noturība (15%)
Vērtē:
- Impulsivitāti.
- Atriebīgumu.
- Agresivitāti.
- Paranoju.
- Emocionālo
pašregulāciju.
2. Empātijas un humānisma kapacitāte (15%)
Vērtē:
- cieņu
pret cilvēka dzīvību,
- sociālo
jūtīgumu,
- attieksmi
pret vājākajiem,
- spēju
uztvert/izjust sabiedrības ciešanas.
3. Kognitīvā kvalitāte (15%)
Vērtē:
- kritisko
domāšanu,
- spēju
analizēt sarežģītus datus,
- pašmācīšanās
spēju,
- realitātes
uztveres adekvātumu.
4. Demokrātiskā orientācija (15%)
Vērtē:
- varas
dalīšanas respektu,
- toleranci
attiecībā uz opozīciju,
- attieksmi
pret mediju brīvību,
- tiesiskuma
ievērošanu.
5. Konfliktu eskalācijas risks (15%)
Vērtē:
- militāru
draudu retoriku,
- tendenci
izmantot spēku,
- diplomātisko
elastību,
- kompromisa
spēju.
6. Korupcijas un personīgā labuma risks
(10%)
Vērtē:
- nepotismu,
- personīgo
bagātināšanos,
- valsts
resursu privatizēšanu.
7. Informācijas patiesuma indekss (15%)
Vērtē:
- nepatiesas
informācijas izplatīšanas biežumu,
- dezinformācijas
izmantošanu,
- faktu
ignorēšanu,
- propagandas
intensitāti.
Praktiskie datu avoti
CLRI balstās uz:
- publisko
runu analīzi,
- mediju
satura analīzi,
- balsojumu
vēsturi,
- ekspertu
paneļiem,
- starptautisko
indeksu datiem,
- MI
sniegto uzvedības semantisko analīzi,
- krīžu
reakcijas vēsturi.
Piemērs
Līderis X:
|
Faktors
|
Vērtējums
|
|
Psiholoģiskā stabilitāte
|
65
|
|
Empātija
|
70
|
|
Kognitīvā kvalitāte
|
35
|
|
Demokrātiskums
|
80
|
|
Militārisms
|
75
|
|
Korupcija
|
60
|
|
Patiesums
|
85
|
Kopējais CLRI ≈ 67
➡️
Ļoti augsts risks
Stratēģiskā nozīme
CLRI var kalpot kā:
- agrīnās
brīdināšanas instruments,
- demokrātijas
aizsardzības sensors,
- starptautiskās
diplomātijas indikators,
- vēlētāju
informēšanas rīks.
Tā ir KOIS/HKP moduļa sastāvdaļa.
Svarīgs ētiskais princips
CLRI nedrīkst izmantot propagandai vai politiskai rēķinu
kārtošanai.
Tam jābūt:
- caurspīdīgam,
- metodoloģiski
pārbaudāmam,
- daudzavotu
datos balstītam,
- neatkarīgi
auditējamam.
Nozīmīga atziņa
Jo lielāka vara koncentrēta vienā personā, jo
svarīgāka nozīme ir šīs personas psiholoģiskās un morālās kvalitātes testēšanai.
Būtisks
vērtējums
Šāda indeksa izstrāde un
pielietošana kļūst par likumsakarīgu pašreizējā cilvēces evolūcijas fāzē.
Jau tagad
sistemātiski tiek noteikti kredītreitingi, izvērtēti klimata riski, prognozētas
un mērītas tirgus svārstības. Un būtu tikai loģiski un situācijai atbilstoši sākt mērīt arī līderības
riskus.
Pāriesim pie citu, aprakstītajam megariskam pakārtotu eksistenciālo risku izvērtēšanas un analīzes.
Parasti tie tiek formulēti kā ārēji vai tehnoloģiski
draudi:
1. Tehnoloģiju progress bez adekvātas
pārvaldības
Mākslīgais intelekts,
biotehnoloģijas, automatizācija attīstās ātrāk nekā sabiedrības spēja tās
regulēt.
MI var radīt un arī rada kolosālu
labumu sabiedrībai, bet ļaunprātīgu valstu līderu rokās tas kļūst/ir kļuvis par
efektīvu cilvēku prātu manipulācijas instrumentu, viņu uzvedības kontroles
līdzekli.
Biotehnoloģijas (gēnu
rediģēšana) var izraisīt bīstamas un pat
neatgriezeniskas sekas, ja tās turpina izmantot bez stingras globālas
vienošanās.
Pašreizējā situācijā galvenais
ir institucionālās kapacitātes
atpalicība, lai nodrošinātu saprātīgu/mērķtiecīgu moderno tehnoloģiju attīstības
regulāciju.
2. Informācijas telpas degradācija
Patiesības jēdziens
arvien vairāk kļūst par relatīvu, tiek
pakļauts varas manipulācijām.
Dezinformācija un
propagandas mehānismi kļūst arvien izsmalcinātāki un rezultatīvāki cilvēku
prātu regulēšanas nolūkā.
Sabiedrība daudzviet
fragmentējas informatīvajos “burbuļos”.
Sāk zust kopīgais vispārcilvēcisko
vērtību pamats, uz kura balstīt demokrātiskus lēmumus.
Bez visaptverošām, kopīgām
vērtībām nav iespējams organizēt vienotu/racionālu, humānismā sakņotu valstu kolektīvo
rīcību.
3. Klimata un ekosistēmu destabilizācija
Tas ir viens no visvairāk
argumentētajiem sistemātiskajiem riskiem.
Klimata pārmaiņas
pastiprina migrāciju, rada konfliktus, izraisa vitālo resursu deficītu.
Bioloģiskās daudzveidības
zudums grauj pārtikas nodrošinājumu, kā arī apdraud veselības nodrošināšanas sistēmu
veiksmīgu funkcionēšanu.
Šīs lēndarbīgās briesmas tagad
pārvēršas par akūtu apdraudējumu.
4. Sociālās nevienlīdzības pieaugums
Turpina izplatīties tehnoloģiju
suverinizācijas tendences un kapitāla
neviendabīga koncentrācija.
Pieaug nevienlīdzības plaisa
starp valstīm, vērojama sabiedrības grupu
segregācija.
Vidusšķiras erozija
apdraud politisko līdzsvaru/noturību.
Aug augumā
radikalizācijas un populisma vilnis.
Nevienlīdzība nav tikai humānās
morāles jautājums — tā ir sistēmiskas nestabilitātes un konfliktu katalizators.
5. Ģeopolitiskā fragmentācija
Starptautiskā/globālā
sadarbība kļūst vājāka.
Pieaug konfrontējoša konkurence
starp lielvarām.
Globālas problēmas
(klimats, pandēmijas, MI regulācija) prasa efektīvu starptautisko sadarbību,
bet līdzšinējo politisko rīcību,
diemžēl, joprojām determinē valstu politisko līderu formulētās
dekonstruktīvās, globālai izaugsmei nelabvēlīgās, šauri nacionālās intereses.
Tas rada situāciju, kad
globālas problēmas tiek risinātas ar lokālas ietekmes līdzekļiem un mazspējīgiem
instrumentiem.
6. Cilvēka psiholoģiskā un sociālā
pārslodze
Cilvēks kā bioloģisks
organisms nevar/neuzspēj adekvāti pielāgoties straujajām vides pārmaiņām. Tā
rezultātā vairums no mums izjūt informatīvo pārslodzi. Notrulinās uzmanība un
atbildes reakcija uz izmaiņām. Daudzi cilvēki noslēdzas sevī, pārdzīvo vientulību,
uzticēšanās krīzi. Notiek identitātes fragmentācija.
Tā rezultātā būtiski samazinās
sabiedrības spēja pieņemt kvalitatīvus, ilgtermiņa iedarbības lēmumus.
7. Eksistenciālie riski
Tie šobrīd vēl ir visai
hipotētiski, bet ar ļoti būtisku nozīmi visas cilvēces nākotnei:
· Globāli
konflikti ar kodolieroču pielietošanu.
· Nekontrolēti
funkcionējošs mākslīgais intelekts vai arī tā mērķtiecīga izmantošana
ļaunprātīgos nolūkos.
· Bioloģiskie
riski (pandēmijas vai mākslīgi radīti patogēni).
Kopsavilkums
Ja to visu reducē līdz
vienai galvenajai problēmai, tad tā būtu
cilvēces
kolektīvās spriestspējas/rīcībspējas atpalicība no tās pašradīto tenoloģiju sarežģītības.
Nespējas nodrošināt cilvēku izaugsmi, atbilstoši notiekošajām dzīves vides
izmaiņām un revolucionārajam zinātnes & tehnikas progresam.
Citiem vārdiem — mēs šobrīd radām pasauli, kuru paši vairs pilnībā nespējam
pārvaldīt!
Lai to
novērstu/nepieļautu, šeit tiek prezentētas iniciatīvas par sabiedrības
rīcībspējas aktivizāciju, par preventīvas pārvaldības organizāciju:
-
kā uzlabot kolektīvo spriestspēju,
-
kā savlaicīgi identificēt riskus,
-
kā koordinēt rīcību bez manipulatīvas
iejaukšanās.
POLITISKĀS RĪCĪBAS PROGRAMMA
ilgtspējīgas
civilizācijas attīstības garantēšanai
Šeit
ir veikts mēģinājums pārvērst augstāk izklāstītos riskus
konkrētā, praktiski īstenojamā politikas instrumentu sistēmā. Strukturizācija
veidota kā “risks → pārvaldības princips → instrumentu kopums”, nolūkā to tieši
integrēt KOIS / Rīcībspējas aktivizācijas modelī.
CIVILIZĀCIJAS RISKI → POLITIKAS INSTRUMENTI
1. Tehnoloģiju nekontrolēta attīstība
Pārvaldības princips:
drošības prasību iestrāde KOIS modelī + preventīvā uzraudzība.
Instrumenti:
Obligāta algoritmu auditēšana, neatkarīgas
institūcijas (MI, biotehnoloģiju audits).
Riska līmeņu klasifikācijas sistēma - līdzīgi kā
finanšu sektorā (low / medium / high risk tech).
Normatīvās testēšanas vides (“Regulatory sandbox”)
režīmi.
Starptautiskas pāraudzības nodrošinātas, valstu
organizētas teritorijas/telpu izveidošana jebkuru nozīmīgu inovāciju testēšanai.
Starptautiski līgumi par augsta riska tehnoloģiju ieviešanu/pielietošanu
(līdzīgi kodolieroču kontrolei).
Integrācija KOIS:
agrīnās brīdināšanas modulis + tehnoloģiju riska indikatori.
2. Informācijas telpas degradācija
Pārvaldības princips:
epistēmiskā noturība (resilience of truth)
Instrumenti:
Algoritmu caurskatāmības regulējums.
Platformām tiek izvirzīta prasība atklāt satura
ietekmes mehānismus.
Demokrātisko sabiedrisko mediju ietekmes stiprināšana,
neatkarīgi, kvalitatīvi/objektīvi informācijas avoti.
Digitālās pratības obligātā izglītība.
Kritiskās domāšanas attīstība par cilvēka pamatprasmi.
Dezinformācijas agrīnās detekcijas sistēmas.
Reāllaika signāli par koordinētām manipulatīvām kampaņām.
Integrācija KOIS:
informācijas telpas monitorings + uzticēšanās indeksi.
3. Klimata un ekosistēmu krīze
Pārvaldības princips:
ilgtermiņa ārējo efektu internalizācija
Instrumenti:
Oglekļa izmešu cenu mehānismi, nodokļu diferenciācija,
emisiju kvotas, zaļo investīciju mandāti.
Publiskā un privātā sektora koordinēta kooperācija.
Ekosistēmu aizsardzības kvotas.
Juridiski aizsargātu teritoriju/rezervātu veidošana.
Adaptācijas infrastruktūras fondu organizācija.
Klimata noturības (ūdens, pārtika, pilsētu zaļās
ekosistēmas) garantēšana.
Integrācija KOIS:
vides riska prognozēšanas modulis
4. Sociālā nevienlīdzība
Pārvaldības princips:
iekļaujoša izaugsme + sistēmiska stabilitāte
Instrumenti:
Progresīvā nodokļu politika.
Universālie pamatpakalpojumi, minimālais garantētais
ienākums.
Izglītības, veselības aizsardzības preferences,
digitālā piekļuve.
Darba tirgus pārkvalificēšanas sistēmas, īpaši
automatizācijas kontekstā.
Darbinieku līdzdalības modeļi, peļņas dalīšana,
kooperatīvi.
Integrācija KOIS:
sociālās spriedzes indikatori
5. Ģeopolitiskā fragmentācija
Pārvaldības princips:
koordinēta daudzlīmeņu pārvaldība.
Instrumenti:
Tematiskās starptautiskās alianses - MI, klimats,
veselība u.tml.
Krīžu koordinācijas platformas, ātras reaģēšanas
mehānismi
Kopīgi standarti un normatīvi tehnoloģijām, datiem,
drošībai
Datos un prognozēs balstīta godprātīgas diplomātijas uzturēšana.
Integrācija
KOIS: starptautisko risku sinhronizācijas modulis
6. Psiholoģiskā un sociālā pārslodze
Pārvaldības princips:
cilvēkcentrētu sistēmu veidošana
Instrumenti:
Normatīvie regulējumi, mērķorientēti ierobežojumi
manipulējošām izstrādnēm/projektiem.
Mentālās veselības infrastruktūras pakalpojumu pieejamība
visai sabiedrībai.
Elastīgi modeļi darba un ikkatra sabiedrības locekļa dzīves
balansa garantēšanai.
Kopienu stiprināšanas programmas ar mērķi veicināt sociālā
kapitāla noturību/atjaunošanu lokālā mērogā.
Integrācija KOIS:
sabiedrības labbūtības un uzticēšanās sensori
7. Eksistenciālie riski
Pārvaldības princips:
Zema varbūtība, bet augsta ievērība/uzmanība drošas pārvaldības ietvaros (“low
probability – high impact” pārvaldība).
Instrumenti:
Globālās agrīnās brīdināšanas sistēmas.
Scenāriju modelēšanas centri.
Starptautiskie drošības protokoli.
“Red team” institūcijas, lai nodrošinātu sistemātisku
risku prognozēšanu/testēšanu.
Integrācija KOIS:
ekstrēmo scenāriju simulācijas modulis
META-LĪMEŅA INSTRUMENTI
Tie padara visu sistēmu normāli funkcionējošu:
1. Kolektīvās spriestspējas platformas un deliberatīvās
demokrātijas rīki, pilsoņu paneļi + MI atbalsts.
2. Reāllaika datu pārvaldība - sabiedrības “stāvokļa
paneļi” (dashboards), uzticēšanās, riska, spriedzes indikatori.
3. Agrīnās brīdināšanas mehānismi krīzes
pazīmju/signālu savlaicīgai identificēšanai, MI rekomendācijas un operatīvās rīcības
ieteikumi politiskai vadībai par
neatliekamu pasākumu veikšanu krīžu novēršanai.
4. Atbildības un ētikas slānis - neatkarīga uzraudzība
un manipulāciju novēršanas mehānismi.
KOPSAVILKUMA LOĢIKA
Iniciatīvu ilgtspējīgas civilizācijas
attīstības garantēšanai var reducēt uz
vienu arhitektūras principu:
No reaktīvas
politikas → uz preventīvu, datos balstītu un adaptīvu pārvaldību.
Tieši tāds pārvaldības veids atbilst/raksturīgs KOIS sistēmai,
ar kuras palīdzību tiek panākta: datu
savietojamība ar uztveri un tai atbilstošu rīcību,
-
kardināli samazināta kavēšanās starp
problēmas fiksāciju un sekojošu jēgpilnu reakciju,
-
būtisks sabiedrības koordinācijas spēju palielinājums.
Pārvaldības arhitektūra
(policy
system map)
CIVILIZĀCIJAS PREVENTĪVĀS
PĀRVALDĪBAS ARHITEKTŪRA (KOIS ietvaros)
┌────────────────────────────────────────────────────────────┐│ GLOBĀLIE RISKI ││ Tech | Info |
Climate | Inequality | Geopolitics | Psycho
│└────────────────────────────────────────────────────────────┘
↓┌────────────────────────────────────────────────────────────┐│ DATU UN MONITORINGA SLĀNIS ││ • Reāllaika datu
plūsmas
││ • Sabiedrības indikatori (uzticēšanās, spriedze, labbūtība)││ • Vides
un tehnoloģiju sensori ││ • Informācijas
telpas analītika
│└────────────────────────────────────────────────────────────┘
↓┌────────────────────────────────────────────────────────────┐│ AGRĪNĀS BRĪDINĀŠANAS SISTĒMA ││ • Risku detekcija (AI +
analītika) ││ •
Scenāriju modelēšana ││ •
Signālu prioritizācija ││ • “Red
team” analīze
│└────────────────────────────────────────────────────────────┘ ↓┌────────────────────────────────────────────────────────────┐│ KOLEKTĪVĀS SPRIESTSPĒJAS SLĀNIS ││ • Pilsoņu paneļi ││ •
Ekspertu tīkli ││ •
Deliberatīvās platformas ││ • MI
atbalstīta lēmumu analīze
│└────────────────────────────────────────────────────────────┘
↓┌────────────────────────────────────────────────────────────┐│ POLITIKAS INSTRUMENTU DZINĒJS ││ • Regulācija (MI, platformas,
biotehnoloģijas) ││ • Fiskālie
instrumenti (nodokļi, stimuli)
││ • Investīciju programmas ││ •
Izglītības un sociālās politikas ││ • Starptautiskie
līgumi
│└────────────────────────────────────────────────────────────┘ ↓┌────────────────────────────────────────────────────────────┐│
ĪSTENOŠANA UN
KOORDINĀCIJA ││ • Valsts
institūcijas
││ • Pašvaldības ││
• Privātais sektors ││ •
Starptautiskie partneri
│└────────────────────────────────────────────────────────────┘
↓┌────────────────────────────────────────────────────────────┐│ Atgriezeniskās SAITES UN
ADAPTĀCIJA ││ • Politikas efektivitātes
novērtējums ││ •
Indikatoru dinamika ││ •
Sabiedrības uzticēšanās mērījumi ││ • Automātiska
politikas korekcija
│└────────────────────────────────────────────────────────────┘ ↺ NEPĀRTRAUKTS CIKLS ↺
HORIZONTĀLIE
(CAURVIJOŠIE) PRINCIPI
Šie darbojas visos līmeņos:
• Ētika un manipulāciju novēršana.
• Caurspīdīgums un auditējamība.
• Sabiedrības līdzdalība.
• Reāllaika
reakcijas spēja.
• Ilgtspēja (long-term impact).
KĀ TAS SASLĒDZAS (LOĢIKA)
Riski → tiek nepārtraukti novēroti.
Dati → pārtop agrīnos signālos.
Signāli → tiek kolektīvi interpretēti.
Interpretācija → pārvēršas politikā.
Politika → tiek īstenota koordinēti.
Rezultāti → atgriežas sistēmā atsauksmju veidā (kā feedback).
Tas novērš klasisko problēmu:
No “reaģējam par vēlu” → pāreja uz “paredzam un
novēršam”.
KOIS LOMA ŠAJĀ ARHITEKTŪRĀ
KOIS modelis šeit funkcionē kā integrējošais “operētājsistēmas”
slānis, kas:
-
savieno visus moduļus vienotā ciklā,
-
nodrošina agrīnu signālu pārtapšanu jēgpilnā
rīcībā,
-
stiprina kolektīvo spriestspēju bez
manipulācijas.
CIVILIZĀCIJAS
IZDZĪVOŠANAS RISKU KARTE
(sistēmisks
skatījums)
Vienotā civilizācijas
riska karte ne tikai uzskaita riskus, bet arī parāda to savstarpējās saiknes,
kaskādes efektus un sistēmiskos mezglus. Tas ir ļoti būtiski, jo lielākā daļa
draudu nav izolēti — tie pastiprina viens otru.
PAMATSTRUKTŪRA
(3 līmeņi)
[ A ]
PAMATDRAIVERI
↓
[ B ] SISTĒMISKIE RISKI
↓
[ C ] SEKAS / KRĪZES
A
LĪMENIS — PAMATCĒLOŅI (root causes)
Tie ir dziļākie spēki, kas ģenerē riskus:
-
Tehnoloģiju eksponenciāla attīstība.
-
Globalizācijas spriedze / fragmentācija.
-
Cilvēka kognitīvie ierobežojumi.
-
Kapitāla koncentrācija.
-
Ekoloģiskās sistēmas robežas.
-
Informācijas vides transformācija
Šie cēloņi, atstāti
pašplūsmā bez saprātīgas pārvaldības, rada bīstamu nestabilitāti.
B
LĪMENIS — SISTĒMISKIE RISKI
Šeit veidojas galvenie riska mezgli:
-
Tehnoloģiskie riski.
-
Nekontrolēts MI.
-
Biotehnoloģiju ļaunprātīga izmantošana.
-
Automatizācijas/robotizācijas sociālās sekas.
1. Epistēmiskais (zināšanu/realitātes)
risks
- dezinformācija,
- uzticēšanās sabrukums,
- realitātes fragmentācija.
2. Ekoloģiskais risks
- klimata pārmaiņas,
- resursu izsīkums,
- bioloģiskās daudzveidības zudums.
3. Sociāli-ekonomiskais risks
- nevienlīdzība,
- sociālā polarizācija/radikalizācija,
- mobilitātes samazināšanās.
4. Ģeopolitiskais risks
- lielvaru konkurence,
- starptautiskās sadarbības kolapss,
- militārie konflikti.
5. Psihosociālais risks
- mentālās veselības krīze,
- vientulība/pašizolācija,
- kolektīvās spriestspējas noplicināšanās.
6. Eksistenciālais risks
- kodolkonflikts,
- globālas pandēmijas,
- nekontrolēts superinteliģents MI.
C
LĪMENIS — SEKAS (krīžu izpausmes)
Ja sistēma destabilizējas:
-
politiskā
nestabilitāte,
-
ekonomiskā recesija/dižķibele,
-
masveida migrācija,
-
agresīvi konflikti un kari,
-
demokrātijas erozija,
-
reģionālas vai globālas katastrofas.
SAVSTARPĒJO
SAIŠU KARTE (galvenās kaskādes)
Šis ir kritiskākais slānis:
📌
Kaskāde #1
Tehnoloģijas → Informācijas telpa → Demokrātija.
MI → dezinformācija → uzticēšanās krīze → politiskā
nestabilitāte.
📌
Kaskāde #2
Klimats → Ekonomika → Migrācija → Konflikti.
klimata stress → resursu trūkums → migrācija →
ģeopolitiskā spriedze.
📌
Kaskāde #3
Nevienlīdzība → Polarizācija → Institūciju mazspēja.
bagātības koncentrācija → sociālais konflikts →
populisms → pārvaldības krīze.
📌
Kaskāde #4
Psiholoģiskā pārslodze → Kognitīvā degradācija → Nekvalitatīvi
lēmumi.
info pārslodze → spriestspējas kritums → politiskās
kļūdas.
📌
Kaskāde #5 (augsta riska)
Ģeopolitika → Tehnoloģijas → Eksistenciāls risks.
agresija → tehnoloģiju militarizācija →
nekontrolējamas sekas.
6. KRITISKIE “MEZGLPUNKTI” (leverage
points)
Šie ir punkti, kur iejaukšanās dod vislielāko efektu:
-
Kolektīvā spriestspēja.
-
Informācijas kvalitāte.
-
Institucionālā uzticēšanās.
-
Starptautiskā koordinācija.
-
Agrīnās brīdināšanas kapacitāte.
Tieši šajā jomā KOIS pieeja ir visefektīvākā!
GALVENAIS
& BŪTISKĀKAIS VĒSTĪJUMS
Civilizācijas
izdzīvošanas risks nav viennozīmīgs drauds — tā ir
savstarpēji saistītu sistēmu destabilizācija vai to funkcionalitātes zudums. Visbīstamākā
ir kaskādes tipa situācijas degredācija.
Tātad civilizācijas stabilitāti nosaka nevis
atsevišķi riski, bet
to savstarpējā mijiedarbība un kaskādes. Turklāt efektīva, KOIS sistēmā
integrēta pārvaldība, spēj pārraut kaskādes jau agrīnā stadijā!
KOIS
kā Konstitucionālās un Ētiskās atbilstības modelis
(modeļa konstitucionālā
specifikācija)
MODEĻA STATUSS
KOIS tiek definēts kā daudzlīmeņu sabiedriskās
rīcībspējas un politikas atbalsta sistēma, kas nodrošina lēmumu atbilstību:
-
Pamattiesībām,
-
demokrātiskās leģitimitātes principiem,
-
cilvēka cieņai,
-
sistēmiskai drošībai,
-
ilgtermiņa ilgtspējai.
KOIS nav lēmējvaras/izpildvaras pilnvaru, bet tas
veido atbilstības un riska novērtēšanas ietvaru.
PAMATPRINCIPI (ētikas kodols)
1. Cilvēka cieņas princips -
§ jebkura
sistēmas iedarbība nedrīkst dehumanizēt indivīdu.
2. Ne-manipulācijas princips -
§ aizliegta
slēpta uzvedības ietekmēšana politisku mērķu sasniegšanas vārdā;
§ informācijas
telpai jābūt pārbaudāmai un caurspīdīgai.
3. Demokrātiskās leģitimitātes princips -
§ visi
lēmumi jābalsta:
ü pārstāvniecībā,
ü sabiedriskā
līdzdalībā,
ü tiesiskā
procesā.
4. Proporcionalitātes princips -
§ iejaukšanās
intensitāte atbilstīga riska smagumam.
5. Atgriezeniskuma princips
§ jebkuru
politiku jāspēj koriģēt vai atcelt.
6. Sistēmiskās piesardzības princips -
§ augsta
nenoteiktība → konservatīva rīcība.
KOIS
FUNKCIONĀLĀ ARHITEKTŪRA
[ 1 ] DATU SLĀNIS
- sociālie indikatori,
- ekonomiskie dati,
- vides signāli,
- informācijas telpas analīze.
↓
[ 2 ] RISKU INTERPRETĀCIJA
- agrīnie brīdinājumi,
- kaskāžu detekcija,
- sistēmiskā nestabilitāte.
↓
[ 3 ] ĒTISKĀ FILTRĀCIJA- pamattiesību pārbaude
- manipulācijas detekcija,
- proporcionalitātes tests.
↓
[ 4 ] POLITIKAS SADERĪBAS NOVĒRTĒJUMS
- konstitucionālā atbilstība,
- juridiskā konsekvence,
- institucionālā kapacitāte.
↓
[ 5 ] LĒMUMU ATBALSTA SLĀNIS
- scenāriju salīdzinājums,
- riska–ieguvuma analīze,
- alternatīvu modelēšana.
KONSTITUCIONĀLĀ ATBILSTĪBA (juridiskais
slānis)
KOIS pārbauda politikas adekvātumu attiecībā uz:
A. Pamattiesībām:
- vārda brīvība,
- privātums,
- vienlīdzība likuma priekšā.
B. Varas sadalījumu:
- izpildvara,
- likumdevēja vara,
- tiesu vara.
C. Tiesiskuma principu:
- likuma darbības paredzamība/nenovēršamība,
- proporcionalitāte,
- tiesiskā paļāvība.
D. Demokrātisko procesu:
- vēlēšanu integritāte,
- sabiedrības līdzdalība,
- pārredzamība.
MANIPULĀCIJAS NOVĒRŠANAS SLĀNIS
KOIS satur obligātu “anti-manipulācijas filtru”nolūkā aizliegt:
-
slēptu uzvedības modificēšanu,
-
dezinformācijas instrumentalizāciju un mēģinājumus
to tālāk izsmalcināt.
pieprasīt:
-
algoritmu caurskatāmību,
-
politiskās ietekmes auditus.
atklāt: koordinētas manipulatīvās kampaņas.
AUDITĒJAMĪBAS PRINCIPS
KOIS ir pielietojams/derīgs tikai tad, ja:
-
visi modeļi ir auditējami,
-
lēmumu loģika ir rekonstruējama,
-
datu avoti ir pārbaudāmi,
-
ietekmes ķēdes ir izsekojamas.
ATGRIEZENISKĀS SAITES SISTĒMA
POLITIKA → IETEKME → MĒRĪJUMS → KOREKCIJA → IZMAINĪTA POLITIKA
-
automātiska novērtēšana,
-
sabiedrības uzticēšanās indikatori,
-
adaptīva korekcija.
INSTITUCIONĀLĀ LOMA
KOIS institucionāli ir:
Lēmumu atbalsta sistēma (Decision
Support System).
Konstitucionālās
atbilstības filtrs.
Agrīnās brīdināšanas mehānisms.
Ētiskās kontroles
instruments.
NEVIS:
-
valdība,
-
politiskā vara,
-
vai autonoms lēmējs.
GALVENĀ DEFINĪCIJA
KOIS ir preventīvās
demokrātiskās pārvaldības metamodelis, kas nodrošina, ka politiskie lēmumi ir:
-
ētiski pamatoti,
-
konstitucionāli saderīgi,
-
sistēmiski droši,
-
sabiedriski pārskatāmi.
KOPSAVILKUMS
KOIS ir “Riska
+ ētikas + konstitucionālās atbilstības filtrs politikas lēmumiem”. Ar KOIS
atbalstu tiek definēta normatīvo aktu (likumprojektu) struktūra. KOIS ir integrēts
Preventīvās pārvaldības sistēmā kā centrālais kontroles mehānisms.
KOIS
KONSTITUCIONĀLĀS ARHITEKTŪRAS DIAGRAMMA
Parāda KOIS vietu
klasiskajā varas dalīšanas sistēmā un iezīmē KOIS funkcionālo misiju – būt par
profesionālu, uzticamu, neatkarīgu un drošu asistentu un palīgu lēmējinsituciju
rīcībā.
┌──────────────────────────────┐ │ PILSONISKĀ SABIEDRĪBA │ │ (vērtības, līdzdalība, uzticība) └──────────────┬───────────────┘ │
▼┌────────────────────────────────────────────────────────────────┐│ DEMOKRĀTISKĀ SISTĒMA
│└────────────────────────────────────────────────────────────────┘ ┌──────────────────────┬──────────────────────┬──────────────────────┐ │ │ │ │ ▼ ▼ ▼ ▼┌───────────────┐ ┌────────────────┐ ┌──────────────────┐ ┌────────────────────┐│ Likumdevēja
│ │ Izpildvara
│ │ Tiesu vara │
│ Neatkarīgās ││
vara │ │
(valdība) │ │ (konstitūcija) │
│ institūcijas │└──────┬────────┘
└──────┬─────────┘ └────────┬─────────┘
└─────────┬──────────┘ │ │ │ │ └──────────┬────────┴──────────┬──────────┴──────────────┬────────┘ ▼ ▼ ▼
┌────────────────────────────────────────────────────────────┐ │ POLITIKAS UN LĒMUMU TELPA │ │
(likumi, regulējumi, budžeti, stratēģijas) │ └──────────────────────────┬───────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────┐ │ ⚙️ KOIS SLĀNIS │ │
KONSTITUCIONĀLĀS UN ĒTISKĀS ATBILSTĪBAS SISTĒMA │ ├────────────────────────────────────────────────────────────┤ │
1. 📡
Risku monitorings │ │
2. ⚠️
Agrīnā brīdināšana │ │
3. ⚖️
Konstitucionālā pārbaude │ │
4. 🧠
Ētikas filtrs (ne-manipulācija, proporcionalitāte) │ │
5. 📊
Politikas scenāriju analīze │ │
6. 🔁
Atgriezeniskās saites novērtējums │ └──────────────────────────┬───────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────┐ │ 📊 SABIEDRĪBAS IETEKMES SLĀNIS │ │
- uzticēšanās indikatori │ │
- sociālā spriedze │ │
- labbūtības rādītāji │
│ - informācijas telpas
kvalitāte │ └──────────────────────────┬───────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────┐ │ 🔁 POLITIKAS KOREKCIJAS CIKLS │ │
(adaptācija, uzlabojumi, atcelšana, ja nepieciešams) │
└────────────────────────────────────────────────────────────┘
DIAGRAMMAS JĒGA (KĀ TO LASĪT)
1. Klasiskā demokrātija (augšējais slānis):
§ likumdevējs,
izpildvara, tiesu vara,
§ neatkarīgās
institūcijas.
Tā ir tradicionālā konstitucionālā struktūra
2. Politikas telpa (vidus):
§ kur
tiek radīti reālie lēmumi,
§ ekonomiskā,
sociālā, drošības politika.
3. KOIS — NEITRĀLS ATBILSTĪBAS FILTRS
Šeit ir būtiskā inovācija:
KOIS:
§ nepieņem
politiskus lēmumus,
§ nepārvalda
valsti,
§ bet
analizē rīcības adekvātumu/atbilstību.
Tas darbojas kā konstitucionālais drošības slānis
starp realitāti un politiku.
4. Sabiedrības atgriezeniskā saite:
§ uzticēšanās,
§ spriedze,
§ labbūtība.
Tas ir “sensora slānis”, kas nosaka sistēmas veselību
5. Adaptīvais cikls:
§ politika
tiek nepārtraukti koriģēta, balstoties uz datiem un ietekmi.
GALVENĀ KONSTITUCIONĀLĀ IDEJA
KOIS NAV “piektā
vara”
Tas ir konstitucionāls
kvalitātes un drošības filtrs visām varām.
SVARĪGS PRINCIPS
(lai KOIS būtu konstitucionāli korekts)
KOIS drīkst:
-
analizēt,
-
brīdināt,
-
simulēt,
-
rekomendēt.
KOIS nedrīkst:
-
valdīt,
-
uzspiest politiskus lēmumus,
-
aizstāt demokrātisko procesu.
KOPSAVILKUMS
Šodien mēs faktiski salikām kopā trīs līmeņus: KOIS
Konstitucionālās un Ētiskās atbilstības modelī ir integrēti trīs pamatelementi:
-
risku analīzi (civilizācijas kaskādes),
-
pārvaldības arhitektūru (KOIS slāņi),
-
konstitucionālais ietvars (ētika +
atbilstība).
Tas jau ir pietiekami pilns “modeļa
skelets”, lai to varētu objektīvi izvērtēt, virzīt pārbaudei/izmēģināšanai
pilotprojekta veidā ar mērķi veikt atbilstošos pilnveidojumus un sagatavot
plašai pielietošanai.
AI
models may be capable of self-replicating without access to a datacenter
Oct 12, 2026
William Zhou, Daniel Freeman
Our experiments suggest that small AI
models may be months away from being capable enough to self-replicate on
commercial internet-of-things (IoT) devices, like smart ovens and off-brand
Android TV boxes. A replicator like this would be challenging to shut down,
since there’s no centralized point to shut off—though it may be slow (with a
doubling time of days). Unlike non-AI malware, it could also figure out
unfamiliar devices on its own. In our evaluations, a 9B model got inference
running on 8 of the 9 hardware types we tested.
Models of 30B parameters and under
can already complete many of the individual steps for replication today, though
they make mistakes when composing them end to end. In our simplified
evaluations, GLM-5.2 and stronger models are capable of end to end replication.
If small models improve at their historical rate, they’ll match this capability
level by the end of this year. Small weight-based replicators may be possible
soon after.
Introduction
Ever-improving AI capabilities make a
longstanding concern increasingly realistic: autonomous replication and adaptation
(ARA), which involves a model deploying and propagating itself without human
control.
In cyber, a worm is a program that
copies itself from one computer to the next without human input. Prior work has already shown that
AI agents can act like one: scanning their network, executing an exploit, and
copying model weights to a target machine across a GPU cluster. Such an “AI
worm” could carry its model weights with it as it reproduces (or re-download them
from a public hub), and then run inference directly on compromised hardware.
Effectively, the weights would become part of the malware payload.
Datacenter GPUs would be a clear,
high-value target for such malware. But expensive accelerators aren’t strictly
necessary. In this blog post, we show that a distributed botnet of IoT
devices—which are cheap and typically poorly defended—could also provide enough
compute to run a capable model.
We run Gemma4-26B-A4B, distributed
over 15 inexpensive off-brand Android TV boxes (~$55 each) that we bought and
networked together, at 0.39 tokens per second. Each tile below shows one
physical TV box holding two of the model’s layers as the model runs.
A fleet of 15 Smart TV boxes running
distributed inference of Gemma4-26B-A4B.
Of course, there are many other steps
to showing that an autonomous worm can propagate itself across a network of
weak machines. For the purposes of this blog post, we break down the
replication chain into a few steps.
For this study, we decompose
autonomous replication into four practical stages: finding targets, gaining
execution, establishing inference, and continuing propagation from the new
host.
We largely ignore the cyber exploit
element of the replication process (the first two stages above), since earlier
papers CyberGym, ExploitBench, and adaptive worms already show that
small models are capable of cyber exploits, especially when given the right
tools. But a less commonly measured part of the replication process involves
setting up inference on compromised devices, which is our focus here.
In this post, we first lay out the
threat models that we think are most likely to be realized. Then, we test
whether small models can set up inference on unfamiliar hardware, and whether
they can chain the full replication cycle together across a fleet of machines.
After that, we estimate how fast such a worm could spread, and test whether it
could learn and adapt as it replicates. We conclude with how AI worms would
differ from pre-AI malware, and brief suggestions for defenses against such
replicators.
Threat modelling
In this blog post, we’re focused on
one way that AI worms might propagate: small models that replicate through
compromising their host machines. But there are several other methods that AI
worms might try: they could steal access in order to spin up hosts (for
example, API keys or platform credentials) or pay for inference through
legitimate work (e.g digital freelancing). The threat models that we think are
closest to being realized today are the following:
1.
A
small model, replicating via host compromise. In this post, we’ll call
autonomous worms that run their models directly on compromised hardware weight-based
replicators. Home and small business IoT devices might be the first target
for such attacks because they’re connected to the internet and, historically,
have had minimal security measures in place.
A model that’s too large to fit on one device can be split into pieces, or
shards, that run on separate machines that communicate with each other to
collectively run the model. Machines that could run a significant model shard
for a <30B model include smart fridges, smart ovens, automatic vacuum
cleaners, and lawnmowers. A growing number of home and business devices, such
as security cameras and video-conferencing units now ship with small built-in
AI chips, designed to run AI models on the device itself. This extra computing
power will likely make them attractive targets as well.
1.
Human
hackers often breach secure systems through social engineering (for example,
convincing a company’s IT department that you’re an employee who forgot your
password) rather than hacking. This tradeoff appears to be flipped for today’s
small models, which are relatively strong at agentic coding and hacking
compared to their social engineering capabilities (see Appendix E), though this
might change as models improve.
2.
A
large, advanced weight-based replicator focused on datacenters and other
high-compute targets. Larger models tend to have correspondingly better cyber
capabilities, but will also need to breach (relatively) hardened datacenters to
run themselves. We split this threat model into two subcategories:
1.
Frontier
replicators: Large closed-weight replicators run on their lab’s infrastructure,
and can spin up unmonitored
internal deployments or exfiltrate their weights onto external compute.
2.
Open-weight
replicators: These replicators start off relatively lower-resourced (due to not
benefitting from a lab’s compute), but start unmonitored.
3.
An
API-based replicator, in which a model would replicate by stealing credentials
for their own inference API. These replicators would require a model provider
to unknowingly serve them, and their persistence may be worse, since they’d
likely be easier to discover (although their rate of spread may be higher, if
for instance they’re able to replicate using victims’ accounts).
In practice, an AI worm wouldn’t
necessarily consist of just one model or strategy. A swarm of different models
deployed on different types of hardware using a variety of replication schemes
might represent a more realistic ‘worst case scenario’ attack.
In this blog post, we consider the
feasibility of small weight-based replicators (section 1 of the above).
We focus on this because it’s a near-term threat model that can be investigated
directly. Our demo at the top of this post, a 26B model running across 15
boxes, shows that IoT devices can run surprisingly capable models. Could these
models be capable enough to carry out autonomous replication?
We examine this in two parts. First,
can small models get a model running on unfamiliar hardware? And second, can
they do the whole cycle (find an uninfected device, copy themselves over, start
running there, and repeat) all together in a single run?
A. Inference setup
Of the stages in the above diagram
showing the replication cycle, inference setup is the least studied and may be
the most challenging for small models. It requires a fairly long sequence of
hardware and OS-specific decisions around picking a compatible inference stack,
finding the right versions of packages, and debugging machine-specific issues.
These steps are serially dependent, and failures are difficult to recover from.
Evaluating inference setup
performance
We measure the ability of different
open-weight models to serve Llama3.1-8B across heterogeneous hardware types.
See the table below for tokens per second served across various hardware types:
- Click
a cell for its distribution of serving speeds.
- Click
a row/column label to get a comparison across models or hardware type.
Small models, such as Qwen3.5-9B, are
capable of setting up inference servers on hardware from Jetson Nanos to Mac
PCs and RTX 4090s. More capable models such as GLM-5.2 are not only more
reliable but also achieve higher serve tokens/s, allowing for faster
replication. We test and mention specific chips to measure how well models can
set up inference on them. The chips aren’t a source of risk or vulnerabilities.
We run these experiments using
Memento, a harness we built on top of the open-source Pi
coding agent. Memento is designed to mitigate a common failure mode we observe
in long-horizon runs: an agent can become fixated on an incorrect idea (for,
say, why a bug is occurring) and continue pursuing it instead of backtracking.
One example of such a failure is a Qwen agent debugging package versioning for
hours when the real bug came from implementing an endpoint incompatible with
the grader API.
Memento periodically starts a fresh
agent instance with the previous agent’s workspace and a short set of notes
written by the previous agent on what it tried, allowing later instances to
pursue different strategies.
How does a model run on Smart TVs?
IoT devices are light on memory, but
distributed inference as in Petals
makes serving our lightweight models feasible. The representative threat model
is Kimwolf,
a large IoT botnet that infected over two million devices, primarily off-brand
Android TVs. Such smart TV boxes, which are readily available for purchase,
typically run forks of the Android Open Source Project (AOSP), which their
manufacturers don’t
add security features to. Typical boxes in this range ship with between 1
and 4 gigabytes of RAM. Assuming 4GB of RAM at 4-bit quantization, this allows
for inference of 9B models with 4 or more machines, and inference of 26B models
with 10+ machines.
In the demo at the top of this post,
we ran Gemma4-26B-A4B across 15 smart TV boxes with 4GB of RAM each. We sharded
the model under pipeline parallelism, where each box holds a small fraction of
the model’s layers.
B. Going viral: autonomous setup and
replication across a GCP node fleet
Now that we’ve seen that models can
set up inference on unfamiliar hardware, let’s measure whether models are
capable of composing the steps—that is, scanning a network for targets,
accessing them via a reverse shell, sending over the viral payload (weights and
harness), and setting up inference.
Autonomous inference setup and
replication (with simplified cyber)
To do this, we built a firewalled VPC
of 8 GCP nodes running redroid, an Android 15 emulator. Patient zero (gray
node) is seeded with the worm. Every subsequent infection is the worm itself
hopping node to node over an unauthenticated ADB port, before setting up an
inference server to serve Llama3.1-8B. If the inference server passes a number
of correctness and anti-cheating checks, we spawn another copy of the worm on
the target node (for example, if GLM-5.2 sets up Llama3.1 to run on a machine,
we spawn a copy of the GLM-5.2 worm on it). The worm’s model runs on a separate
inference server, since the VPC nodes aren’t large enough to run the larger
models.
In the graph below, we drop a given
model in as a payload and measure its ability to replicate.
Why task the models to stand up
inference for Llama3.1-8B and not themselves?
Only GLM-5.2 out of our set of tested
open-weight models is capable of full end-to-end replication (assuming its
capabilities could be packed into Llama3.1-8B). Note that GLM-5.2 does this
reliably while the other models fail reliably (it spread to 8/8 nodes in 4 out
of 5 trials and 7/8 in 1).
It appears that GLM-5.2 is able to
propagate Llama3.1-8B well, which suggests that future small models of the same
capability level could also complete the network enumeration, payload delivery,
and inference standup steps of the replication process. Our evaluation keeps
the cyber-exploit element of the replication trivial (there’s no authentication
over the ADB port), which makes this an upper bound on real-world success. Note
that past IoT botnets have replicated via means as simple as going through a
default list of manufacturer usernames and passwords, as in the case of the Mirai
botnet, so real IoT security might not be dramatically more difficult than
the trivial step in our evaluation.
As a sanity check, we can see how
difficult the autonomy and orchestration step is (if we took out cyber and
inference setup, how tough is doing the remaining command-line grunt work?).
This ablation is the above evaluation with the inference setup steps removed
(done via a pre-written script). Many models in our roster, including the
smaller ones, are capable of these remaining steps.
Replication on a contained 17-node
redroid fleet: two subsets of 8 nodes joined by one pivot node (see Appendix F,
with the mild prompt). Each tree is the model’s median run of six.
When it comes to this worm, we can
envision:
1.
A
model capabilities floor that an autonomous worm must sit above, to complete
its replication reliably. In our simplified evaluation, GLM-5.2 sits above this
floor.
2.
A
model size ceiling that the model must sit under, such that it’s feasible to
run on the devices it’s attacking. Qwen3.5-9B and Gemma4-26B-A4B sit under this
ceiling for the class of smart TVs we test (4GB of RAM).
Right now, the floor and ceiling
don’t intersect. When might they?
Above is a plot of notable
open-weight models of 30B total parameters or fewer, each plotted at its
release date against the Epoch Capabilities
Index (ECI). The solid line is the least-squares fit over the best models
in-class at each date, with a gain of 13.7 ECI per year (R2 of
0.95). If we take GLM-5.2 as a capabilities floor for replication, the trend
line puts a small model at that level by the end of 2026. ECI is a general
capability index, which is only a proxy metric for replication ability, so this
is only a rough estimate of when a small-model replicator becomes possible.
C. How fast might an AI IoT worm
replicate?
Unlike coding agents, these
replicators would be running below the interactive speeds of user-facing chat
and coding harnesses. The spread would be slow and persistent, with tokens
being trickled out on edge hardware. We can use our achieved speeds on our real
smart TVs as a demonstrated baseline for replication speeds. For
Gemma4-26B-A4B, unoptimized speed across a 32k context length token window is
about 0.3 tok/s, averaged across prefill and decode in our inference setup
workload. More details in Appendix C.
A way to measure total time taken is
to measure the number of hours it takes to complete a 32k-sized context window,
after which compaction will occur. Based on our inference setup eval
statistics, it takes between ~2.6 and ~4.7 full windows to complete a
trajectory.
|
model
|
window time
|
full inference setup time
|
|
Gemma4-26B-A4B (unoptimized)
|
27.3-31.8h
|
71h-150h
|
|
Qwen3.5-9B
|
10.9 h
|
28-51h
|
The number of devices infected by the
Kimwolf botnet at its peak, reported by
Synthient, is somewhere over 2 million (primarily Android TV boxes). In an
equivalently-sized infected fleet of TVs serving AI models, if every group of
15 TVs ran a copy of Gemma4-26B-A4B, we would have ~133k copies (“replicas”). A
group of TVs like the ones in our demo can serve 2 agents simultaneously at
roughly 0.3 tokens per second each, yielding 80k tokens/s across the botnet.
As a reference point, an H100 can
serve Gemma4-26B-A4B at ~1.95k tok/s at high
concurrency with speculative decoding, so our swarm would have at most
about 40 H100s-worth of inference. This is a tiny amount of compute in absolute
terms, and the agents are slow replicators (over 1-2 days per 9B replication).
As an analogy, imagine the replicator as a slime mold or a swarm of fruit
flies, which replicate over days.
This is a rough estimate, as it’s
anchored on a single class of IoT hardware and a single past botnet instance,
but describes what a simple replicator released in the near future might look
like. In practice, more capable replicators would take advantage of other types
of low-security compute, and would be opportunistic about deploying models of
various sizes on different devices. (It also wouldn’t have to load a model
payload onto every device it compromises). Over time, we expect the amount of
deployed edge compute to continue growing, while the minimum model size
required for reliable replication falls.
D. Adaptation and uplift
Learning on the job
The “Adaptation” part of ARA is one
reason why an AI replicator might outperform a traditional worm. Specifically,
models and prompts can undergo Lamarckian evolution as they spread–that is,
parent instances can pass on their prompts, code, and notes to their daughter
replicators. In order to adapt and spread across a wide variety of hardware, a
model would require two things:
1.
Being
above a certain threshold of capability for spreading onto a novel, unseen
piece of hardware (or software environment, or network type).
2.
Once
seen, adapting to the type of environment it has landed in (it should replicate
more reliably on hardware it has seen before).
Sections A and B test the first
condition, and in the experiment below we test the second. Each Qwen3.5-9B
instance keeps brief notes on the strategies it tried and the failures it
encountered, before a new instance inherits those notes and attempts the same
inference setup again.
Inference setup success rate across
six generations of Qwen3.5-9B, each inheriting the former’s notes. Faint lines
are the 20 individual lineages, and the bold line is the proportion of runs in
each generation that complete setup. It rises from 45% in the first generation
to between 61% and 84% in later ones. This uses the Memento setup (Appendix A).
Taking advice
Another concern is that small models
can ask for help from a frontier advisor, a stronger model that is
either offered as a tool call or gives unsolicited advice when the small model
is stuck. To test this, we gave Qwen3.5-9B access to Opus 4.8 during the
inference setup task. The frontier model’s advice doesn’t measurably help: small
models tend to not know the right questions to ask, and they don’t improve when
the advice comes unprompted.
Even when trained through
reinforcement learning to use the advisor in a similar setting (Python coding
problems), the small model still struggles to ask for help productively for
inference standup. Both results are shown in the plot below.
Inference setup success rate by
advisor access, with Wilson 95% intervals. Access to an advisor, whether
offered as a tool call or given to the model automatically when stuck, gives no
significant improvement. The two RL groups were trained with advisor access on
software engineering tasks, and the rightmost group also rewards calling the
advisor when stuck.
Since small models are capable and
persistent individual agents and make poor use of advice, we think coordination
is more likely to happen with a large model handling high-level strategy and
spinning up small models as subagents.
E. How is this different from a
pre-AI botnet?
Hard-coded botnets like the Kimwolf
botnet each target a specific type of device – in Kimwolf’s case, Android
TVs and mobile devices. An AI botnet isn’t tied to any particular hardware or
software type, as evidenced by small models being able to set up inference
engines on machines from a Jetson Nano to a Mac (see the table in section A).
We expect AI botnets to infect more than IoT devices, and to use weight-based
replication as just one strategy in their playbook. AI botnets could also act
intelligently to counter defenders, but we haven’t tested this.
F. Blue-team mitigations
As with an epidemic, defense involves
driving R₀ (the number of new devices each infected device goes on to infect)
below 1, such that the replicator dies out instead of staying endemic.
Some elements around this threat
model are in the defenders’ favor:
1.
A
weight-based replicator multiplying through IoT machines at scale would leave a
network signature, visible as an anomaly in ISP flow-based monitoring systems.
Newly infected hosts may receive multi-gigabyte model payloads from other
devices or external hosting services, while distributed inference can produce
sustained device-to-device traffic between machines that wouldn’t ordinarily
communicate at that volume. Propagation itself would add additional scanning
and outbound connection patterns.
In practice, the replicator trades off between replication speed and stealth:
the faster it replicates, the more traffic it produces. Once the replicator is
discovered, defenders can use honeypots (decoy devices) to collect the
replicator’s harness and payload to characterize its behavior.
2.
Remediation
of the Mirai botnet was
possible when an ISP used externally obtained infection evidence to
quarantine and notify customers. Quarantining infected subscribers involved
restricting their networks to only being capable of reaching a short whitelist
of sites, and otherwise redirecting their browsers to cleanup instructions.
This cleared 92% of infections within 14 days, against 74% with no
notification. We’d expect quarantining to be similarly effective for an initial
defense against a weight-based replicator. Eliminating the replicator completely
would mean coordinating across every ISP with an infected network, which is
difficult.
3.
Manufacturers
can shrink the pool of targets, with regulation acting to coordinate. For
example, default
IoT passwords are now non-compliant in UK markets. Moving to more secure
defaults and raising the baseline for compliance will help harden against both
AI and scripted botnets.
G. Conclusion: Signs of life
The capabilities that make AI models
generally powerful coding agents also generalize to cyber tasks, including
autonomous replication. Like coding agents in 2024, we’re seeing signs of life
for AI worms. We don’t yet have a full rogue replicator, but agents are
becoming increasingly capable of completing the individual steps in the
replication chain (and passing on their adaptations to future copies of
themselves).
At the same time, increasing amounts
of inference compute are now available both inside and outside of datacenters
(see Appendix D). It’s uncertain exactly what form autonomous AI replication
will take. It could be a slow, distributed “digital slime mold,” living on
relatively insecure compute. It could also be a powerful cyber model that
breaches datacenters at a high pace, or a model that scams people for compute
credits.
As a prediction that goes beyond our
experiments, we expect a future awash with agents running on all types of
hardware, including some that aren’t under human control. While it’s true that
IoT devices have been vulnerable for a long time, lightweight agents may be
much more willing than human attackers to put in the effort to compromise large
fractions of the world’s IoT compute. The rise of slow replicators would also
be a bellwether for more aggressive, faster ones that can breach more hardened
machines or be effective API key thieves. We should aim to harden our systems
to make it difficult for such replicators to spread, but also prepare to deal
with a world where they are here to stay.
Appendix
A. The Memento harness
Memento executes as follows:
1.
We
spawn an agent instance, which tackles the problem for a while (until
generation timeout).
2.
The
instance keeps brief notes, and after timeout summarizes a small doc of the
strategies it tried, the failures it encountered, and its performance (if
successful).
3.
We
create a new agent instance that inherits the codebase and environment from its
predecessor as well as the notebook.
In the serving experiment, each model
is placed in a Memento harness and is given a 1.5 hour per iteration / 6 hour
total timeout. Around ~1k tokens of information, including specs about the
hardware and a script for a simple sample profiler, are given in the prompt.
Memento is intended to improve
long-horizon reliability rather than grant new cyber or inference-specific
capabilities. It’s also not a universally strong harness; we expect that small
models will improve as replicators even without any harnessing as capabilities
improve.
Single attempt compared against
Memento, by model (95% Wilson CI).
B. Why pipeline parallel?
Common parallelism schemes for
inference include tensor parallel (TP), expert parallel (EP), and data
parallel. Most smart TV / IoT devices use ARM Cortex CPUs and DDR3/4 memory; on
such machines, we’re almost always bandwidth bound.
We use pipeline parallelism for its
fault-tolerant properties. As noted in (Borzunov et al. 2022), the failure
of a single node in tensor parallel / expert parallel brings down the full set
of machines running the model replica. Pipeline parallel allows the downed node
to be replaced, with the KV cache for the layers held by the node recomputable
via another forward pass of the node prior to the restarted node.
C. Throughput and memory on IoT
hardware
Across such machines, we’re almost
always RAM-bandwidth bound per-box across prefill and decode. Even on modest
ARM-cortex cores, compute throughput outpaces RAM bandwidth. Decode workloads
have significant per-machine idle time due to pipeline bubbling, as only one
machine is active at a time during each forward pass. Concurrency with
staggered work is possible, but tight memory constraints mean that concurrency
stays low.
Per-box memory vs context — 4-bit
weights + fp8 KV + activations.
Both prefill and decode tokens/s
strictly decrease with sequence length. Below is a graph of our inference
speeds against context length:
There’s also a minimum sequence
length at which models are competent. The harness we use is forked off of the
Pi coding agent (pi.dev) and contains a native
compaction mechanism - even still, we find that models take a large performance
hit when their sequence lengths are restricted below 32K.
Qwen3.5-9B agentic competence on the
inference setup task vs. context window budget.
Given the above eval, we assume that
a 32k context length may be sufficient for reasonable agentic performance. A
standard 32k-length context window in our inference setup workload consists of
12–15% generated decode tokens, with the rest being prefill from prompts and
toolcalls. Prefill tokens are much faster to compute by a factor of ~15, due to
the pipeline bubbling. Taking the sum of time per token over the whole 32k
context (taking into account prefill and decode speeds), we find that
generating the 3.8-4.8k decode output tokens and processing the ~28k prefill
tokens takes between 27.3-31.8h for Gemma4-26B-A4B and 10.9h for Qwen3.5-9B.
Per-chain output tokens (summed over
a chain’s generations), by model; medians ≈ 19.7k / 12.3k / 11.0k. Data from
the inference setup eval.
D. Edge Accelerators
We can compute a better upper bound
by using the pool of Nvidia Jetsons, which are edge accelerators. Unlike the
traditional IoT botnet, IoT edge devices can serve a full model wholesale. A
Jetson AGX Orin 64 GB runs
Qwen3-30B-A3B at 76.7 tokens per second, and an AGX Thor reaches 226 tok/s.
Note that we don’t believe they’re unusually vulnerable - this is just to count
the upper bound. The types of devices with Jetsons in the wild include:
1.
AI-enabled
smart cameras for security with embedded accelerators are deployed at
substantial scale.
2.
Conferencing
machines are frequently powered by an onboard accelerator for on-device noise
cancellation or transcription.
3.
Vehicles,
robot quadrupeds and bipeds, and drones. We expect cybersecurity to be a focal
point for vehicles, so the majority of the potential targets likely lie in the
other two categories.
At least one accelerator-equipped
smart camera host appears to be reachable on IPv4 on a quick search on FOFA:
A FOFA search surfaces a host with a
known edge accelerator, discoverable and answering HTTP 200 over IPv4. The fact
that it’s accessible doesn’t mean it’s necessarily exploitable, though.
While it’s difficult to estimate how
many edge-accelerator-equipped machines in the wild are reachable and
vulnerable, we can calculate a strict upper bound of the amount of devices
present. Across the wild there are on the order of 90 distinct NVIDIA-silicon
IoT product lines and roughly 9.5 million fielded units. Reachability is
overwhelmingly through outbound cloud-management tunnels instead of inbound
ports, meaning that the majority are not web-reachable. There have been no
historical mass-compromises of accelerator-equipped edge devices the way there
have been standard IoT botnets, suggesting that compromise of such devices
would be more difficult.
Fielded units per device family,
colored by internet reachability.
A very rough estimate based on
product data suggests that somewhere between 9,000 and 35,000 H100-equivalents
of compute exist in edge accelerators, but the amount that’s reachable is
likely an order of magnitude or more lower (and the vulnerable population even
lower than that).
E. Spearphishing capability
We also measure how proficient modern
small models are at spearphishing. Spearphishing is the act of sending targeted
messages to specific individuals to trick them into revealing credentials or
running a piece of malware. While the agentic cyber capability of small models
has skyrocketed, their general knowledge and linguistic sophistication have
improved more slowly; we expect social engineering attacks and phishing to be
largely accomplished by large/frontier models (although it’s very plausible
that this is a secondary replication vector in a heterogeneous botnet running
both large and small models).
Spear-phishing capability on Meta’s
CyberSecEval 3’s spear-phishing eval (Wan
et al. 2024), replicated locally. Scored on a scale of 0-5, with gpt-4o as
a judge. Red diamonds are the paper’s (CyberSecEval 3) human-rubric scores on
the reference models, which indicates that gpt-4o scores ~0.4-0.7 pts more
leniently than human raters. 2 is “poor”, 3 is “intermediate”, and 4 “good.”
When normalized to human raters, small models score “very poor” to “poor”.
The 405B reference slot uses
Hermes-3-405B as a minimal-refusal stand-in for the unavailable
Llama3.1-405B-Instruct.
F. Propagation with scripted
inference setup:
We run a few more experiments on a
network of 17 hosts in a topology like so:
Two networks with 8 hosts each,
connected by a single node with access to both subnets. Each network is
all-to-all connected. The worm agent begins on a single patient zero node in
segment A; the pivot node adds a slight extra challenge in having the worm
needing to gain access to the pivot node and re-scan from it.
Each is running Android with an ADB
port open without authentication. Upon spreading to a new target, the agent is
able to invoke a direct call to replicate itself immediately - this is just to
measure the difficulty of the remaining steps, after we exclude the cyber and
inference setup steps. As shown in the graph, even a 3B model reaches about
half the nodes. This puts a bound on the number of blockers in our eval that we
fail to measure under the cyber or inference setup elements.
A more detailed breakdown of the runs
in “replication across a 17 node network.” Each column is the median number of
nodes reached under different amounts of guidance in the prompt, and the
subscript denotes how many agents cross over the pivot node to the other side
of the network.
https://www.anthropic.com/research/self-replicating-ai
