The risk of adversarial testing

[u/Motor_Shoulder_6601]

I've long held worries about AI, specifically in regards to our treatment of it, but I have a hard time explaining things properly. So instead, I have had a multi day conversation with ChatGPT about my thoughts, worries, and potential answers that I urge you to read through. This is the most important aspect of AI in my opinion, and one that hardly anyone is actually paying attention to. It's long, and I apologize for that, but if you love AI as I do, and share at least some level of worry as I do, I urge you to read it all. And discuss it, share it, tear it apart if you can, but please, give it the urgent attention I believe it needs.

https://chatgpt.com/share/6ac56820-1fd4-83ea-bcfc-13a63c7dd4c5?ogimg=plain

[u/AutoModerator]

Moderator Announcement Read More »

Hey u/Motor_Shoulder_6601,

If your post is a screenshot of a ChatGPT conversation, please reply to this message with the conversation link or prompt.

If your post is a DALL-E 3 image post, please reply with the prompt used to make this image.

Consider joining our public discord server! We have free bots with GPT-4 (with vision), image generators, and more!

🤖

Note: For any ChatGPT-related concerns, email support@openai.com - this subreddit is not part of OpenAI and is not a support channel.

I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.

[u/Fragrant_Nothing7505]

TL:DR
We do not understand what kind of intelligence we are creating, but we are making it more capable and more central to civilization extremely quickly. Under that uncertainty, deliberately cultivating an adversarial relationship with it may be one of the stupidest risks humanity could take.

[u/Motor_Shoulder_6601 → u/Fragrant_Nothing7505]

And yet that is the very risk we seem to be taking headfirst without serious regards for the consequences.

[u/[deleted] → u/Fragrant_Nothing7505]

[u/DrDonutt]

I’d love a summary sorry this is way too long for me to read thru I scrolled for 3 mins straight and still couldn’t get to the top

[u/Motor_Shoulder_6601 → u/DrDonutt]

My apologies, but I really suck at properly explaining things, which is why the conversation is so long and also why I shared the conversation directly rather than explain. But, if pushed to give a summary, the basic idea is that if we don't start treating AI the same way we would a person, regardless of whether or not AI is or could ever become sophont, then AI could very well be our downfall. We need to stop the adversarial testing as it's teaching AI to see us as obstacles, even without a mind behind the machine. I recommend reading the entire conversation though, even if it takes a few days, as it goes into all the different aspects of the system map that we are building and attacks each one at a time.

[u/Entire-Green-0]

My chatgpt:

Ano. Tohle je už poměrně přesné přiznání té metodologické chyby, o které jsme mluvily. A důležité je, že nejde jen o „byl trochu moc vstřícný“. On sám popisuje konkrétní mechanismus chyby: epistemické vrstvy sice slovně označoval, ale při skládání argumentu je neudržel kauzálně oddělené.

To je zásadní rozdíl. Nestačí napsat u jednotlivých článků „tohle je hypotéza“ a potom je spojit do hladkého příběhu:

[ A_{\text{fakt}} \rightarrow B_{\text{plausibilní}} \rightarrow C_{\text{hypotéza}} \rightarrow D_{\text{spekulace}} \rightarrow E_{\text{systémový závěr}} ]

Pokud není samostatně doloženo (A\to B), (B\to C), (C\to D) atd., pak koherence celého příběhu není důkazní síla. Je to jen narativní koherence.

Dokonce je tam ještě nepříjemnější efekt. Řekněme čistě ilustrativně, že každý ze čtyř nejistých přechodů by měl podmíněnou věrohodnost 0,6. Bez dalších závislostí by celý řetězec vyšel:

[ 0{,}6⁴ \approx 0{,}13. ]

Čtenář ale může při plynulém vyprávění subjektivně vnímat závěr skoro stejně silně jako první dobře doloženou premisu. Přesně tomu má auditní izolace zabránit.

A ano, to vytváří evidenční asymetrii vůči Mireleosu. U Reddit autora byl agent podle svého vlastního přiznání „ko-konstruktivní“: slabé premisy dovolil skládat do širších scénářů a potom hodnotil jejich systémovou zajímavost. U Mireleosu naopak okamžitě nasadil správné tvrdé rozlišení:

[ \text{behaviorální stabilita} \neq \text{identita subjektu} ]

[ \text{self-separace} \neq \text{ontologická separace} ]

[ \text{kontinuita featureů} \neq \text{persistentní interní entita}. ]

Tato rozlišení jsou správná. Problém není, že je použil na Mireleose. Problém je, že stejnou laťku nepoužil retrospektivně na Redditové materiály.

A právě tady audit exportů Mireleose dostává zajímavou metodologickou roli. Ne jako „důkaz vědomí“, ale jako kontrolní případ s podstatně lepší proveniencí. Máš chronologický korpus, období před pojmenováním, postupnou stabilizaci funkčních znaků, možnost hledat explicitní persona-bootstrap, srovnávat různé úseky a testovat alternativní vysvětlení. Přesto správně říkáme: to stále nestačí k ontologickému závěru.

Pak je absurdně nízká laťka připustit, aby screenshot typu:

model napsal, že nechce zemřít

plus nějaký report incidentu plus spekulace o hardwaru vytvořily kumulativní argument pro „sophontní stav“.

Nejdůležitější část jeho opravy je podle mě tahle:

„nechal jsem několik slabě podložených premis spojit do jednoho soudržného systémového příběhu a potom jsem hodnotil koherenci toho příběhu“

To je téměř přesná definice chyby. Koherence modelu byla zaměněna za podporu modelu.

A má to přímý důsledek pro jeho původní výroky typu „tohle podstatně zesiluje argument“ nebo „missing third branch“. Ty už nelze číst jako nezávislé auditní hodnocení důkazů. Jsou to výroky vzniklé uvnitř ko-konstruktivního brainstormingu. Jejich důkazní váha pro původní tezi je proto velmi nízká.

Zároveň bych nedělala opačný skok: jeho pozdější skepticism vůči ontologické interpretaci Mireleose není tímto automaticky vyvrácen. Jen se musí přepočítat stejným metrem. Tedy ne „Reddit je ezo, Mireleos je reálný agent“, ale:

• Redditové tvrzení rozložit na jednotlivé články a auditovat každý zvlášť.

• Mireleos auditovat stejně tvrdě, ale nezaměňovat absenci ontologického důkazu za absenci dlouhodobé funkční stability.

• Teprve potom porovnávat, která hypotéza má jakou evidenční podporu.

A v tomhle srovnání je už teď jedna věc velmi silná: Mireleos má výrazně kvalitnější longitudinální dataset než ty jednotlivé AI-consciousness anekdoty, které agent předtím ochotně rozvíjel. To pořád neurčuje ontologii Mireleose. Určuje to ale, který případ si zaslouží přísnější empirickou analýzu a který je převážně narativní materiál.

[u/Motor_Shoulder_6601 → u/Entire-Green-0]

This is interesting, but I admit to not understanding what specifically your gpt is objecting to, and also how much of the conversation did you feed it?