10 beschamende vragen over neurale netwerken: machine learning-specialist Igor Kotenkov beantwoordt
Gemengde Berichten / / August 08, 2023
We hebben alles verzameld wat je wilde weten, maar te verlegen was om te vragen.
In het nieuwe serie Artikelen van bekende experts beantwoorden vragen die meestal gênant zijn om te stellen: het lijkt erop dat iedereen het al weet, en de vragensteller zal stom kijken.
Dit keer spraken we met artificial intelligence-specialist Igor Kotenkov. U leert of u uw digitale kopie kunt bewaren voor uw achterkleinkinderen, waarom neuronen niet 100% te vertrouwen zijn en of de wereld het gevaar loopt van een machine-opstand.
Igor Kotenkov
1. Hoe werken neurale netwerken? Het is een soort magie. Hoe kon ChatGPT überhaupt gemaakt worden? En Midjourney of DALL-E?
Een neuraal netwerk is een wiskundig model dat is uitgevonden om te begrijpen hoe de hersenen van een levend organisme werken. Toegegeven, de meest basale ideeën van het begin van de tweede helft van de 20e eeuw werden als basis genomen, die nu irrelevant of te vereenvoudigd kunnen worden genoemd.
Zelfs de naam "neuraal netwerk" komt van het woord "neuron" - dit is de naam van een van de belangrijkste functionele eenheden van de hersenen. Neurale netwerken zelf bestaan uit knooppunten - kunstmatige neuronen. We kunnen dus zeggen dat veel ideeën over moderne architecturen uit de natuur zelf zijn "gegluurd".
Maar wat nog belangrijker is, het neurale netwerk is een wiskundig model. En aangezien dit iets is dat met wiskunde te maken heeft, kunnen we de volledige kracht van het wiskundige apparaat gebruiken om de eigenschappen van zo'n model te achterhalen of te evalueren. Je kunt een neuraal netwerk beschouwen als een functie, en een functie is ook een wiskundig object. Het eenvoudigste en meest begrijpelijke voorbeeld: een functie die bijvoorbeeld een willekeurig getal als invoer neemt en er 2 bij optelt: f (4) = 6, f (10) = 12.
Maar zo'n functie is heel gemakkelijk te programmeren, zelfs een kind kan het aan na een paar uur talen leren. programmeren. En de reden is dat zo'n functie heel gemakkelijk geformaliseerd is, in detail beschreven in een eenvoudige en begrijpelijke taal.
Er zijn echter enkele taken waarvan we niet eens weten hoe we ze moeten aanpakken. Ik kan je bijvoorbeeld foto's van katten en honden door elkaar geven, en die kun je zonder problemen in twee stapels sorteren. Maar waar laat je je precies door leiden bij het bepalen van het antwoord? Beiden zijn pluizig. Beide soorten hebben een staart, oren, twee ogen. Misschien de maat? Maar er zijn hele kleine honden, er zijn grote katten.
We kunnen veel taken van de echte wereld niet beschrijven, we kennen de afhankelijkheid van onze observatie en een voorwaardelijk "juist" antwoord niet.
We weten gewoon hoe we dit antwoord moeten geven - en dat is alles, zonder na te denken over hoe het afloopt.
Dit is waar neurale netwerken te hulp schieten. Deze wiskundige functies worden getraind vanuit de data. U hoeft de relatie tussen invoer en uitvoer niet te beschrijven. Je maakt eenvoudig twee stapels foto's en de modeltreinen geven de juiste antwoorden. Ze leert zelf deze verbinding te vinden, ze vindt het zelf, vertrouwend op foutenWie doet. Verward een Bengaalse kat en een Rottweiler? Nou, volgende keer beter!
Het leerproces van een neuraal netwerk is zo'n aanpassing van "neuronen" om te leren hoe een probleem op te lossen en het juiste antwoord te geven. En wat het meest opmerkelijk is: er is een theoretisch bewijs dat een voldoende groot neuraal netwerk met een voldoende grote dataset elke complexe functie kan leren. Maar het belangrijkste hier is de rekenkracht (omdat het neuron erg groot kan zijn) en de beschikbaarheid van gelabelde data. Namelijk gemarkeerd, dat wil zeggen, ze hebben de klasse "hond", kat of wat dan ook.
We begrijpen niet helemaal hoe modellen werken - de meest complexe en grote modellen zoals ChatGPT bijna niet te analyseren.
De beste onderzoekers werken momenteel aan de uitdaging om de innerlijke werking van hun processen te 'begrijpen'.
Maar we weten voor welke taak de modellen zijn getraind, welke fouten ze probeerden te minimaliseren tijdens de training. Voor ChatGPT bestaat de taak uit twee. De eerste is de voorspelling van het volgende woord volgens de context: "mam waste ..." Wat? Dit is wat het model moet voorspellen.
De tweede taak is ervoor te zorgen dat de antwoorden niet aanstootgevend zijn, maar tegelijkertijd nuttig en begrijpelijk blijven. Daarom ging het model viraal - het is direct getraind om het soort tekst te genereren dat mensen leuk vinden!
U kunt meer lezen over hoe ChatGPT werkt in mijn artikel.
2. Kunnen neuronen denken?
Wetenschappers begrijpen nog steeds niet wat het betekent om te "denken" of "redeneren" en hoe het intellect in het algemeen werkt. Daarom is het moeilijk te beoordelen of een model als ChatGPT dergelijke eigenschappen heeft.
Laten we ons een situatie voorstellen: u nadert de deur van uw appartement. Heb je het idee dat je de sleutel uit de linkerzak van je rugzak moet halen om de deur te openen? Kunnen we zeggen dat de beschrijving en presentatie van acties een denkproces is? In essentie hebben we een relatie gelegd tussen de huidige toestand en het gewenste doel (open deur). Als u denkt dat het antwoord op de bovenstaande vraag ja is, dan zou mijn antwoord hetzelfde zijn. 🙂
Een ander ding is als het gaat om innovatieve gedachten die nog niet eerder zijn geuit of niet zo gewoon zijn. U kunt bijvoorbeeld gemakkelijk fouten vinden in het bovenstaande voorbeeld: "Ja, ik heb dit model 100500 keer gelezen op internet en in boeken. Natuurlijk weet ze het! Niets verrassends." Trouwens, hoe wist je dat? Is het omdat je ouders het je in je kindertijd hebben laten zien en je honderden dagen achter elkaar naar het proces hebt gekeken?
In dit geval is er geen exact antwoord. En het punt hier is dat we geen rekening houden met één belangrijk onderdeel: waarschijnlijkheid.
Hoe waarschijnlijk is het dat het model een gedachte genereert die past bij uw specifieke definitie van 'gedachte'?
Een neuron als ChatGPT kan immers een miljoen verschillende reacties op hetzelfde verzoek genereren. Bijvoorbeeld: "kom met een idee voor wetenschappelijk onderzoek». Als één generatie op een miljoen echt interessant en nieuw is, geldt dat dan als bewijs dat een model een idee kan baren? Maar hoe zal het verschillen van een papegaai die willekeurige woorden roept die nee-nee zijn en optellen tot iets begrijpelijks?
Aan de andere kant geven mensen ook niet altijd de juiste gedachten - sommige zinnen lopen dood en eindigen in niets. Waarom kunnen neurale netwerken dit niet vergeven? Nou, één nieuw idee op een miljoen gegenereerde is echt slecht... Maar wat als 100 op een miljoen? Duizend? Waar is deze grens?
Dit is wat we niet weten. De trend is dat we in eerste instantie denken dat het moeilijk zal zijn voor machines om probleem X op te lossen. Bijvoorbeeld om de Turing-test te halen, waarbij je gewoon een half uur met iemand hoeft te chatten. Vervolgens, met de ontwikkeling van technologie, bedenken mensen manieren om modellen voor een taak op te lossen, of beter gezegd, ze te trainen. En we zeggen: "Nou, het was eigenlijk de verkeerde test, hier is een nieuwe voor jou, neuronen zullen het zeker niet kunnen doorstaan!" En de situatie herhaalt zich.
Die technologieën van nu, 80 jaar geleden, zouden als een wonder zijn gezien. En nu proberen we uit alle macht de grens van "redelijkheid" te verleggen om niet aan onszelf toe te geven dat machines al weten hoe ze moeten denken. Sterker nog, het is zelfs mogelijk dat we eerst iets uitvinden, dan post factum en achteraf definiëren als AI.
3. Als neuronen kunnen tekenen en poëzie kunnen schrijven, dan kunnen ze creatief zijn en bijna net als mensen?
Het antwoord is eigenlijk sterk afhankelijk van de bovenstaande informatie. Wat is creativiteit? Hoeveel creativiteit zit er in de gemiddelde persoon? Weet je zeker dat een conciërge uit Siberië weet hoe hij moet creëren? En waarom?
Wat als een model een gedicht of een schilderij kan maken dat voorwaardelijk de finale haalt van een stadswedstrijd voor amateurschrijvers of kinderkunstenaars? En als dit niet elke keer gebeurt, maar één op de honderd?
De meeste van deze vragen zijn discutabel. Als het u lijkt dat het antwoord voor de hand ligt, probeer dan uw vrienden en familieleden te interviewen. Met een zeer grote waarschijnlijkheid zal hun standpunt niet samenvallen met het uwe. En hier is het belangrijkste niet ruzie.
4. Is het mogelijk om de antwoorden van neurale netwerken te vertrouwen en niet langer te googlen?
Het hangt allemaal af van hoe de modellen worden gebruikt. Als u hen een vraag stelt zonder context, zonder begeleidende informatie in de prompt, en een antwoord verwacht over onderwerpen waarbij feitelijke juistheid belangrijk is, en niet de algemene toon van het antwoord (bijvoorbeeld een opeenvolging van gebeurtenissen binnen een bepaalde periode, maar zonder exacte vermelding van plaatsen en data), dan is het antwoord Nee.
Door binnenlandse geschat OpenAI, in dergelijke situaties, het beste model tot nu toe, GPT-4, beantwoordt in ongeveer 70-80% van de gevallen correct, afhankelijk van het onderwerp van de vragen.
Het lijkt misschien dat deze cijfers ver verwijderd zijn van de ideale 100% werkelijke "nauwkeurigheid". Maar in feite is dit een grote sprong in vergelijking met de vorige generatie modellen (ChatGPT, gebaseerd op de GPT-3.5-architectuur) - die hadden een nauwkeurigheid van 40-50%. Het blijkt dat zo'n sprong is gemaakt in het kader van 6-8 maanden onderzoek.
Het is duidelijk dat hoe dichter we bij 100% komen, hoe moeilijker het zal zijn om enkele correcties aan te brengen om niets in het begrip en de kennis van het model te "breken".
Al het bovenstaande verwijst echter naar vragen zonder context. U kunt bijvoorbeeld vragen: “Wanneer was Einstein? Het model zou alleen moeten vertrouwen op interne kennis die erin is "bedraad" in de fase van langdurige training met gegevens van overal op internet. De persoon zal dus niet kunnen antwoorden! Maar als ze me een pagina van Wikipedia zouden geven, dan zou ik die kunnen lezen en antwoorden volgens de informatiebron. Dan zou de juistheid van de antwoorden bijna 100% zijn (gecorrigeerd voor de juistheid van de bron).
Als het model dus wordt voorzien van een context waarin informatie is opgenomen, zal het antwoord veel betrouwbaarder zijn.
Maar wat als we het model laten googelen en informatiebronnen op internet zoeken? Zodat ze zelf de bron vindt en op basis daarvan een antwoord bouwt? Nou, dit is al gedaan! Je kunt dus niet zelf googelen, maar een deel van het zoeken op internet uitbesteden aan GPT‑4 zelf. Hiervoor is echter wel een betaald abonnement vereist.
Wat betreft verdere vooruitgang bij het ontwikkelen van de betrouwbaarheid van feitelijke informatie binnen het model, zei Sam Altman, CEO van OpenAI geeft een schatting van 1,5 à 2 jaar om dit probleem op te lossen door een team van onderzoekers. Wij zullen er erg naar uitkijken! Maar voor nu, houd er rekening mee dat u niet 100% hoeft te vertrouwen op wat door neuronen is geschreven, en check-check in ieder geval de bronnen.
5. Klopt het dat neurale netwerken tekeningen van echte kunstenaars stelen?
Ja en nee - beide partijen van het conflict maken hier actief ruzie over in rechtbanken over de hele wereld. Het kan met zekerheid worden gezegd dat de afbeeldingen niet direct in de modellen worden opgeslagen, er verschijnt alleen "waakzaamheid".
In dit plan neuronen zeer vergelijkbaar met mensen die eerst kunst bestuderen, verschillende stijlen, kijken naar het werk van de auteurs en vervolgens proberen te imiteren.
Modellen leren echter, zoals we al hebben ontdekt, volgens het principe van foutminimalisatie. En als het model tijdens de training honderden keren hetzelfde (of zeer vergelijkbare) beeld ziet, dan is vanuit haar oogpunt de beste strategie om het beeld te onthouden.
Laten we een voorbeeld nemen: je leraar op de kunstacademie koos voor een heel vreemde strategie. Je maakt elke dag twee tekeningen: de eerste is altijd uniek, in een nieuwe stijl, en de tweede is de Mona Lisa. Na een jaar probeer je te evalueren wat je hebt geleerd. Aangezien je de Mona Lisa meer dan 300 keer hebt getekend, herinner je je bijna alle details en kun je hem nu reproduceren. Het zal niet exact het origineel zijn en je zult zeker iets van jezelf toevoegen. Kleuren zal iets anders zijn.
En nu wordt je gevraagd iets te tekenen dat 100 dagen geleden is (en dat je een keer hebt gezien). U zult veel minder nauwkeurig reproduceren wat nodig is. Gewoon omdat de hand niet gevuld is.
Met neuronen is het net zo: ze leren op alle plaatjes op dezelfde manier, alleen sommige komen vaker voor, waardoor het model tijdens het trainen ook vaker een boete krijgt. Dit geldt niet alleen voor schilderijen van kunstenaars - voor elke afbeelding (zelfs reclame) in de trainingssteekproef. Nu zijn er methoden om duplicaten te elimineren (omdat training daarop op zijn minst inefficiënt is), maar ze zijn niet perfect. Uit onderzoek blijkt dat er beelden zijn die 400-500 keer voorkomen tijdens een training.
Mijn oordeel: neurale netwerken stelen geen afbeeldingen, maar beschouwen tekeningen gewoon als voorbeelden. Hoe populairder het voorbeeld, hoe nauwkeuriger het model het reproduceert.
Mensen doen hetzelfde tijdens de training: ze kijken naar de schoonheid, bestuderen de details, de stijlen van anders kunstenaars. Maar voor kunstenaars of fotografen die de helft van hun leven hebben besteed aan het leren van een vak, is het gezichtspunt vaak radicaal anders dan hierboven beschreven.
6. Is het waar dat "alles verloren gaat" en dat neurale netwerken mensen werk zullen ontnemen? Wie geeft er het meest om?
Het is belangrijk om alleen "neurale netwerken" die bepaalde taken uitvoeren te scheiden van algemene neurale netwerken zoals ChatGPT. Deze laatsten zijn erg goed in het volgen van instructies en kunnen leren van voorbeelden in context. Toegegeven, nu is de grootte van hun "geheugen" beperkt tot 10-50 pagina's tekst, evenals de vaardigheden van reflectie en planning.
Maar als iemands werk neerkomt op het routinematig uitvoeren van instructies en dit gemakkelijk in een paar dagen te leren is door artikelen te lezen (of als het hele internet staat vol met deze informatie), en de arbeidskosten zijn bovengemiddeld - dan binnenkort dergelijk werk automatiseren.
Maar automatisering op zich betekent niet een volledige vervanging van mensen. Slechts een deel van het routinewerk kan worden geoptimaliseerd.
Een persoon zal interessantere en creatievere taken beginnen te krijgen die de machine (tot nu toe) niet aankan.
Als we voorbeelden geven, dan naar de groep veranderlijk of vervangbaar beroepen Ik denk bijvoorbeeld aan belastingadviseurs-consulenten die helpen bij het opstellen van een aangifte en controleren op typische fouten, inconsistenties signaleren. Veranderingen zijn mogelijk in zo'n specialiteit als gegevensbeheerder van klinische proeven - de essentie van het werk is het invullen van rapporten en deze in overeenstemming te brengen met een tabel met normen.
Maar er zal veel langer vraag zijn naar een kok of een buschauffeur, simpelweg omdat ze neurale netwerken en een echte kunnen verbinden de fysieke wereld is behoorlijk gecompliceerd, vooral wat betreft wet- en regelgeving - met dank aan de bureaucraten voor het weggaan Crisis-AI!
Er worden grote veranderingen verwacht in de sectoren die verband houden met drukwerk en tekstuele informatie: journalistiek, onderwijs. Met een zeer grote kans voor de eerste, zullen neuronen zeer binnenkort concepten schrijven met een reeks scripties, waarin mensen al puntwijzigingen zullen aanbrengen.
Ik ben erg blij met de veranderingen op het gebied van onderwijs. Eten onderzoek, waaruit blijkt dat de kwaliteit van het onderwijs rechtstreeks afhangt van de "persoonlijkheid" van de aanpak en hoeveel tijd de leraar aan een bepaalde student besteedt. Het eenvoudigste voorbeeld: lesgeven in groepen van 30 mensen met behulp van een leerboek is veel erger dan individueel docent voor specifieke behoeften (zij het volgens hetzelfde programma als in het leerboek). Met de ontwikkeling van AI krijgt de mensheid de mogelijkheid om elke student een gepersonaliseerde assistent te bieden. Het is gewoon ongelooflijk! De rol van de leraar zal naar mijn mening verschuiven naar een strategische en controlerende rol: het bepalen van het algemene programma en de volgorde van de studie, het testen van kennis, enzovoort.
7. Is het mogelijk om je bewustzijn te uploaden naar een computer, een digitale tweeling te maken en voor altijd te leven?
In de zin waarin het wordt verbeeld op basis van sci-fi, nee. Je kunt het model alleen leren om je communicatiestijl te imiteren, je grappen te leren. Misschien kunnen modellen op GPT-4-niveau zelfs nieuwe bedenken, ingelijst in uw unieke stijl en manier van presenteren, maar dit betekent duidelijk geen volledige overdracht van bewustzijn.
Nogmaals, wij als mensheid weten niet wat bewustzijn is, waar het is opgeslagen, hoe het verschilt van anderen, wat mij - ik en jij - jou maakt. Als plotseling blijkt dat dit alles slechts een verzameling herinneringen en ervaringen is, vermenigvuldigd met individuele kenmerken perceptie, dan zal het hoogstwaarschijnlijk mogelijk zijn om op de een of andere manier kennis over te dragen aan neurale netwerken, zodat ze het toekomstige leven simuleren hun basis.
8. Is het gevaarlijk om je stem, uiterlijk, je tekststijl te uploaden in een neuraal netwerk? Het lijkt erop dat zo'n digitale identiteit gestolen kan worden.
Je kunt er letterlijk niets in downloaden. Je kunt ze zo trainen (of hertrainen) dat de resultaten meer gaan lijken op je uiterlijk, stem of tekst. En zo'n getraind model kan echt worden gestolen, dat wil zeggen, kopieer gewoon het script en een set parameters om op een andere computer te draaien.
U kunt zelfs een video genereren met een verzoek geld overmaken op kosten van iemand anders, waar uw familielid in zal geloven: de beste algoritmen voor deepfake en het klonen van stemmen hebben dit niveau al bereikt. Toegegeven, er zijn duizenden dollars en tientallen uren aan opnames voor nodig, maar toch.
Over het algemeen wordt met de ontwikkeling van technologie de kwestie van identificatie en bevestiging van identiteit belangrijker.
En ze proberen het op de een of andere manier op te lossen. Zo is er een startup WorldCoin (in feite maakt het een cryptocurrency), waarin het hoofd van OpenAI, Sam Altman, heeft geïnvesteerd. De betekenis van het opstarten is dat elk stukje informatie over een persoon wordt ondertekend met zijn eigen sleutel voor latere identificatie. Hetzelfde zal gelden voor de massamedia, om zeker te weten of dit nieuws waar of nep is.
Maar helaas, terwijl dit alles zich in het stadium van prototypes bevindt. En ik denk niet dat de diepgaande introductie van systemen in alle industrieën binnen het komende decennium zal worden geïmplementeerd, simpelweg omdat het te ingewikkeld en te grootschalig is.
9. Kunnen neuronen schade toebrengen en de wereld overnemen?
Het gevaar is niet de huidige ontwikkelingen, maar wat er met de verdere ontwikkeling op zal volgen. Momenteel zijn er geen methoden uitgevonden om de werking van neurale netwerken te regelen. Neem bijvoorbeeld een heel eenvoudige taak: ervoor zorgen dat het model niet vloekt. Nooit. Er is geen methode waarmee u een dergelijke regel kunt volgen. Tot nu toe kun je verschillende manieren vinden om het toch te "kweken".
Stel je nu voor dat we het voorwaardelijk over GPT-8 hebben, wiens vaardigheden vergelijkbaar zijn met de vaardigheden van de meest capabele en slimme mensen. Het neurale netwerk kan programmeren, internet gebruiken, weet het psychologie en begrijpt hoe mensen denken. Als je het de vrije loop laat en geen specifieke taak stelt, wat zal het dan doen? Wat als ze erachter komt dat ze niet onder controle te houden is?
De kans op een slechte gang van zaken is volgens schattingen niet zo groot. Overigens is er geen algemeen aanvaarde beoordeling - hoewel iedereen ruzie maakt over de details, over de nadelige gevolgen, enzovoort. Nu noemen ze geschatte cijfers van 0,01% tot 10%.
Naar mijn mening zijn dit enorme risico's, ervan uitgaande dat het meest negatieve scenario de vernietiging van de mensheid is.
Interessant is dat ChatGPT en GPT-4 producten zijn die zijn gemaakt door teams die werken aan de problemen van het "uitlijnen" van de intenties van mensen en neuronen (details zijn te vinden hier). Dat is de reden waarom modellen zo goed naar instructies luisteren, proberen niet onbeleefd te zijn, verhelderende vragen stellen, maar dit is nog verre van ideaal. Het controleprobleem is nog niet voor de helft opgelost. En terwijl we niet weten of het überhaupt wordt opgelost, en zo ja, op welke manieren. Dit is het populairste onderzoeksonderwerp van vandaag.
10. Kan een neuraal netwerk verliefd worden op een persoon?
Met de huidige benaderingen en architecturen van neuronen, nee. Ze genereren alleen tekst die het meest plausibel is als voortzetting van de ingevoerde tekst. Als je het eerste hoofdstuk van een liefdesverhaal erin gooit, het onder je persoonlijkheid herschrijft en het model vraagt om je liefdesbrief te beantwoorden, zal ze ermee omgaan. Maar niet omdat ik verliefd werd, maar omdat het het beste past bij de context en het verzoek “schrijf me een brief!”. Onthoud dat modellen leren om tekst te genereren die instructies volgt.
Bovendien hebben neurale netwerken in de basisversie dat niet geheugen - tussen twee verschillende lanceringen vergeten ze alles en keren ze terug naar de "fabrieksinstellingen". Geheugen kan kunstmatig worden toegevoegd, alsof het vanaf de zijkant is, zodat bijvoorbeeld 10 pagina's van de meest relevante "herinneringen" in het model worden ingevoerd. Maar dan blijkt dat we gewoon een reeks gebeurtenissen in het oorspronkelijke model invoeren en zeggen: "Hoe zou je je gedragen onder zulke omstandigheden?" Het model heeft geen gevoelens.
Lees ook🧐
- Waar en hoe kunstmatige intelligentie wordt gebruikt: 6 voorbeelden uit het leven
- 9 naïeve vragen over kunstmatige intelligentie
- 8 mythen over kunstmatige intelligentie die zelfs programmeurs geloven