Følgende artikel hjælper dig med: Hvad er geometrisk dyb læring?
Introduktion: Hvad er geometrisk dyb læring?
Deep learning vinder øget interesse i flere brancher. Dette felt danner del af maskinlæring. Ideen bag dyb læring er at tage spor i den måde, hjernen fungerer på. Strukturen efterligner også hjernens. Det resulterende system er et kunstigt neuralt netværk.
Dyb læring har adskillige grene, normalt målt efter feltets dimensioner. Mens euklidiske data består af repræsentationer i 1D og 2D dybder, er geometrisk dyb læring baseret på princippet om 3D. Vi tager et kig på, hvad geometrisk dyb læring er, og hvordan det vil spille en rolle i fremtiden.
Overgå dybe læringsmetoder
Tidligere var størstedelen af forskning og udvikling med dyb læring relateret til den første og anden dimension. De euklidiske metoder, der er blevet brugt, sætter visse begrænsninger på muligheden for at udvide deep learning. Dette skyldes, at den virkelige verden har en tredje dimension, som ikke er målrettet af disse modeller for dyb læring.
Geometrisk dyb læring fokuserer på at overgå de nuværende metoder inden for dyb læring, primært ved at fokusere på at inkludere denne tredje dimension i de kunstige neurale netværk, der skabes gennem teknologien.
Ved at fokusere på en 3D-model i stedet for standard 1D- og 2D-dimensionelle tilgange, er det muligt at nå tættere på netværk på menneskeligt niveau, da det er den dimension, der manifesterer sig i den virkelige verden.
Euklidiske datamodeller har fokuseret på emner i følgende emner gennem de seneste år:
- Computer vision
- Tale genkendelse
- Sprogovergang
- Billedgenerering
Mens euklidiske data allerede har givet succesfulde resultater tidligere, begrænsninger står over for har standset fremskridt på visse områder.
Komplekse data behandles inden for områder som biologi og fysik, såvel som inden for netværksvidenskab. Ved at bruge euklidiske data kan komplekse data ikke behandles effektivt – på grund af de simple dimensioner, der bruges i processen.
Ved at vende sig til geometrisk dyb læring kan disse begrænsninger effektivt overvindes. Forskere har fundet ud af, at ikke-euklidiske data er i stand til at behandle data, der er komplekse hurtigere og mere effektivt, samtidig med at de leverer resultater, der er tættere på et menneskeligt niveau.
Ikke-euklidiske datatyper
Der er flere eksempler på, hvordan ikke-euklidiske datatyper bruges i den moderne verden. Blandt alle datatyper henvender forskere og videnskabsmænd sig generelt til grafer oftest.
En social medieplatform kan repræsenteres af en graf. Grafen består af noder. En social platform som Facebook ville have millioner af noder – da hver node repræsenterer en bruger på netværket. Grafer i ikke-euklidiske modeller består dog af mere end blot knudepunkterne. Kanter bruges som forbindelser mellem forskellige noder i et netværk. Med en platform som Facebook ville kanterne repræsentere handlinger udført af brugere.
I dette eksempel vil to personer danne noder – og en samtale, der finder sted mellem de to brugere, skaber en kant, der løber mellem de to noder.
Geometrisk dyb læring kan også omfatte brugen af manifolds som datatype. I denne datamodel bruges et multi-dimensionelt system – det er her 3D-miljøet med geometrisk dyb læring kommer i spil. Det multidimensionelle rum set i en mangfoldig datatype er repræsenteret af en form med tre dimensioner. Rummet ville have et stort antal punkter, der hjælper med at skabe formen.
Efterhånden som geometrisk dyb læring udvikler sig, ser vi denne teknologi implementeret i forskellige industrier. Et godt eksempel ville være den farmaceutiske industri, hvor geometrisk dyb læring har potentialet til at hjælpe med processen med at opdage lægemidler.
Med lægemiddelopdagelse bruges en tredimensionel model af grafdatatyper. Molekyler, der eksisterer og tidligere opdaget, modelleres ind i grafen. Noder i grafen repræsenterer de atomer, der kan bruges i udviklingen af molekyler, mens kanterne i grafen repræsenterer bindingerne mellem atomer.
Gennem geometrisk dyb læring kan teknologi sammenligne millioner af atomer og molekyler for at finde nye lægemiddelmuligheder til behandling af eksisterende sygdomme. Dette kan især være nyttigt i tilfælde, hvor kroniske sygdomme er svære at behandle. Nye kombinationer af molekyler og atomer kan identificeres ved hjælp af geometrisk dyb læring. Disse opdagelser kan derefter analyseres af videnskabsmænd, så de kan afgøre, om molekylerne ville have potentialet til at hjælpe patienter med sygdommen.
Der er et par andre eksempler på ikke-euklidiske rum og datatyper, der kan bruges i scenarier i den virkelige verden. Samfundsvidenskab ville for eksempel skabe en 3D-model af sociale netværk for at få en mere avanceret forståelse af menneskelig adfærd. Dette ville tage den grundlæggende grafmodel for sociale netværk til det næste niveau.
Kategorier af geometrisk dyb læring
Geometric Deep Learning (GDL) er et spirende felt inden for maskinlæring, der generaliserer deep learning-modeller til ikke-euklidiske domæner såsom grafer og manifolds. Disse modeller har et bredt spektrum af applikationer, herunder computersyn, neurovidenskab og sociale netværksanalyse.
Kategorierne for geometrisk dyb læring er generelt opdelt i tre brede områder baseret på strukturen af de data, de håndterer: Graph Neural Networks, Convolutional Neural Networks og Recurrent Neural Networks.
Graph Neural Networks (GNN’er) er designet til at fungere over data struktureret som grafer, hvilket muliggør en mere naturlig repræsentation af en række virkelige systemer, såsom sociale netværk, biologiske netværk eller World Wide Web. De udmærker sig ved at håndtere relationelle eller strukturelle data ved at udnytte grafernes iboende egenskaber.
Ved at udbrede og aggregere information gennem knudepunkter og kanter på en graf, kan GNN’er fange komplekse mønstre og interaktioner, ofte skjult fra traditionelle maskinlæringsmodeller.
Konvolutionelle neurale netværk (CNN’er) i forbindelse med GDL henviser til geometriske CNN’er. I modsætning til traditionelle CNN’er, som typisk anvendes på gitterlignende data (f.eks. billeder), generaliserer geometriske CNN’er foldninger til ikke-euklidiske domæner. De håndterer geometriske transformationer og analyserer mangfoldige eller grafstrukturerede data, hvilket viser sig at være særligt effektive i 3D-dataanalyse og computervisionsopgaver.
Recurrent Neural Networks (RNN’er), en anden kategori, er blevet generaliseret i geometriske sammenhænge til at håndtere strukturerede sekventielle data, der ligger på ikke-euklidiske domæner, hvilket øger deres kapacitet til at fange dynamiske mønstre over tid.
Anvendelser af geometrisk dyb læring
Computer Vision
Geometrisk dyb læring spiller en afgørende rolle i at genkende og fortolke mønstre i visuelle data, herunder billed- og videobehandling, 3D-formanalyse og sceneforståelse.
Social netværksanalyse
Graph Neural Networks, en type GDL-model, bruges til at forudsige brugeradfærd, opdage anomalier og identificere indflydelsesrige noder i sociale netværksgrafer.
Drug Discovery
GDL bruges til forudsigelse af molekylære egenskaber og lægemiddeleffektivitet ved at repræsentere molekyler som grafer, hvor atomer er noder og bindinger er kanter.
Trafik forudsigelse
Ved at behandle trafiknetværk som grafer kan GDL-modeller forudsige fremtidige trafikforhold, hvilket letter effektiv ruteplanlægning og -styring.
Protein-protein interaktion
GDL bruges til at forudsige protein-protein-interaktionsnetværk, som er afgørende for forståelsen af biologiske processer og sygdomme.
Anbefalingssystemer
GDL-modeller bruges i anbefalingssystemer til at analysere interaktionsdata for brugerelementer, som ofte er repræsenteret som en todelt graf.
Cybersikkerhed
GDL-modeller bruges til at opdage uregelmæssigheder eller ondsindede aktiviteter i netværksdata, hvor noder repræsenterer computere og kanter repræsenterer kommunikation.
Neurovidenskab
Hjernenetværk kan analyseres ved hjælp af GDL-modeller for at forstå hjernens funktion og diagnosticere neurologiske lidelser.
3D-objektgenkendelse
Geometriske CNN’er, en type GDL-model, bruges til 3D-objektgenkendelse og segmentering i områder som autonom kørsel og augmented reality.
Fysik
GDL-modeller bruges til at forstå komplekse systemer i fysik, såsom partikelsystemer eller kosmologiske fænomener, ved at modellere dem som grafer eller manifolder.
Kode Eksempler på geometrisk dyb læring
Her er et forenklet eksempel på, hvordan Graph Convolutional Networks (GCN’er), en type GDL, kan bruges i PyTorch med PyTorch Geometric, et geometrisk deep learning-udvidelsesbibliotek til PyTorch. Dette eksempel gælder ikke direkte for cybersikkerhed, men det giver dig en idé om, hvordan GDL bruges i praksis. I cybersikkerhed ville principperne være de samme, men inputgrafen ville repræsentere netværksdata, og opgaven kunne være at forudsige, om en node (f.eks. en computer i et netværk) sandsynligvis vil være en del af et cyberangreb.
importer fakkel importer torch.nn.functional som F fra torch_geometric.nn importer GCNConv fra torch_geometric.datasets importer Planetoid # Indlæs CORA-datasættet (et almindeligt referencenetværks benchmark-datasæt) datasæt = Planetoid(root=’/tmp/Cora’, name= ‘Cora’) klasse Net(torch.nn.Module): def __init__(selv): super(Net, self).__init__() self.conv1 = GCNConv(dataset.num_features, 16) self.conv2 = GCNConv(16, dataset.num_classes) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, træning) =self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) # Træningsenhed = torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’) model = Net().to(enhed) data = datasæt[0].to(device) optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4) model.train() for epoke in range(200): optimizer.zero_grad() out = model (data) tab = F.nll_loss(out[data.train_mask]data.y[data.train_mask]) loss.backward() optimizer.step()
Dette eksempel konstruerer en GCN-model til opgaven med semi-overvåget nodeklassificering i Cora-citationsnetværket. Noder repræsenterer dokumenter, og kanter repræsenterer henvisningslinks. Målet er at klassificere hvert dokument i en af flere klasser baseret på dets forbindelser til andre dokumenter. I forbindelse med cybersikkerhed kunne dokumenterne erstattes med computere eller netværksenheder, og opgaven kunne være at opdage ondsindede noder baseret på deres forbindelser til andre noder.
Husk, at dette er et meget forenklet eksempel. I et scenarie i den virkelige verden skal du også overveje dataforbehandling, modelvalidering, resultatevaluering og mange andre trin. Du bør også sikre dig, at du overholder alle relevante databeskyttelsesforskrifter, når du arbejder med netværksdata fra den virkelige verden.
Konklusion: Hvad er geometrisk dyb læring?
Geometric Deep Learning (GDL) markerer et paradigmeskifte inden for kunstig intelligens ved at gøre det muligt for os at udvide kraften i deep learning-arkitektur til ikke-euklidiske data. Dette giver et utal af muligheder på tværs af forskellige områder. Fra perspektivet af neural netværksarkitektur bruger GDL induktive skævheder til effektivt at behandle komplekse datastrukturer, hvilket forbedrer disse modellers modtagelighed og tilpasningsevne.
I kvantekemi og kemisk teori og beregning har GDL vist lovende opgaver som at forudsige molekylære egenskaber og hjælpe med lægemiddeldesign. Ved at indkode molekylers projektive geometri i neurale netværk hjælper GDL med udforskningen af det kemiske rum på en mere raffineret måde. Det forbedrer ydeevnen og nøjagtigheden af opgaver, der kræver forståelse af molekylers indviklede, geometriske struktur.
GDL’s applikation er ikke begrænset til videnskabelige beregninger. I en verden af kunstig intelligens ses dens potentiale på områder som talegenkendelse, hvor der eksisterer komplekse tidsmæssige afhængigheder. Ved at håndtere ikke-euklidiske data fremmer GDL feltet, forbedrer behandlingen og forståelsen af inputsignaler og gør talegenkendelsessystemer mere robuste og pålidelige.
I bund og grund åbner innovationerne i GDL op for spændende muligheder for forskellige applikationer, hvor geometriske og topologiske egenskaber spiller en væsentlig rolle. Fra et lille modtageligt felt i et inputbillede til det enorme landskab af molekylære strukturer, vil GDL’s påvirkning fortsat kunne mærkes, mens den bliver ved med at udvikle sig, banebrydende gennembrud på tværs af kunstig intelligens, beregningskemi og videre.
Referencer
Ja, Jong Chul. . Springer Nature, 2022.
