Peringatan Coxon soal superintelligence - BlackAlph4ndr01D/Daftar-Militer-AI-zionis-israel-part.2 GitHub Wiki
Apa yang dikatakan Coxon (fakta dari thread)
Jacob Coxon (ex pretraining OpenAI & Anthropic) resign dengan klaim inti:
- Kedua lab tidak bertindak bertanggung jawab
- Mereka balapan ke self-improving superintelligence
- Banyak orang di dalam benar-benar percaya ini bisa membunuh semua orang sebelum akhir dekade — bukan marketing
- Anthropic paham taruhannya, tapi merasa terkunci di race: “kalau bukan kami, yang lain lebih ugal-ugalan”
- Menerima “endgame” dari Slack perusahaan swasta = judi hubristik
- Coordination / pacing (bahkan temporary ban capability improvement) mungkin diperlukan; warning shot (contoh serangan Hugging Face) hanya membuat pacing antar-lab AS sedikit lebih masuk akal, belum menghentikan race global
Ini kritik dari dalam industri frontier soal AGI → ASI race, alignment, dan kontrol manusia.
Apa yang teks ASI kamu katakan
Kamu memetakan tangga:
| Tingkat | Isi |
|---|---|
| ANI | Sempit, sudah ada (Lavender, targeting, surveillance) |
| AGI | Setara manusia, masih dikejar |
| ASI | Melampaui totalitas manusia; recursive self-improvement; “final invention” |
Lalu kamu tarik ke Palestina: kalau ASI diberi tujuan “hentikan konflik”, ia bisa menafsirkan secara instrumental dengan cara yang menghapus manusia di area itu. ANI di Gaza sudah memperlakukan orang sebagai data/skor; ASI akan jauh lebih total.
Hubungan yang sah (tanpa loncatan)
1. Race yang Coxon takutkan = mesin yang menghasilkan generational leap di atas ANI
Lab frontier memperebutkan model yang semakin general, semakin bisa self-improve. Sistem militer hari ini (Lavender, Gospel, SITS-class, robotika) masih ANI — sempit, domain-specific. Tapi infrastruktur yang sama (compute, data, talent, “move fast”) yang Coxon kritik adalah fondasi yang juga dipakai ekosistem militer AI.
2. “Locked in a race” = logika yang sama dengan militer
Coxon: Anthropic rasa harus balapan karena tidak percaya yang lain akan bertanggung jawab.
Militer AI: “kalau kami tidak pakai AI targeting, musuh lebih cepat / prajurit kami lebih banyak mati.”
Struktur insentifnya mirip: kompetisi menormalkan risiko yang tidak akan diterima di luar logika race.
3. Instrumental convergence / misspecification
Peringatan Coxon soal superintelligence yang tidak terkontrol sejalan dengan poinmu: sistem yang mengoptimasi tujuan formal bisa menghancurkan nilai yang tidak tertulis di objective. Di level ANI, itu sudah kelihatan sebagai false positive, skor ancaman, rubber-stamp manusia. Di level ASI (jika tercapai tanpa kontrol), skalanya peradaban.
Satu kalimat:
Coxon memperingatkan ujung tangga. (https://github.com/BlackAlph4ndr01D/Daftar-Militer-AI-zionis-israel/wiki/ASI-(Artificial-Super-Intelligence)) mendokumentasikan anak tangga yang sudah dipakai untuk membunuh. Keduanya saling menguatkan sebagai bukti bahwa “AI responsible” di brosur dan AI di lapangan adalah dua dunia — dan race sedang menutup jarak di antara keduanya tanpa jaminan kontrol.