Abstrakts
Tā kā mākslīgais intelekts (AI) strauji attīstās, tradicionālie datu centru tīkli saskaras ar lielām problēmām, pārvadot AI trafiku. Liela joslas platuma izmantošana un neliels skaits ziloņu plūsmu var padarīt neefektīvu tradicionālo per-plūsmas slodzes līdzsvarošanu, kā rezultātā rodas pārslodze un pakešu zudumi, kas ievērojami palielina mākslīgā intelekta modeļa apmācību un darbu pabeigšanas laiku. Šajā baltajā grāmatā ir apskatīta dinamiska viedā maršrutēšanas tehnoloģija, kas apvieno reāllaika-apziņu ar saprātīgu lēmumu-pieņemšanu. Tas izmanto ceļa-kvalitātes mērījumus, BGP paplašināto-atribūtu sinhronizāciju, dinamiski svērto-izmaksu daudzceļu (WCMP), neparastu-ceļu noņemšanu un
Flowlet{0}}līmeņa automātiskā slodzes līdzsvarošana (ALB), lai uzlabotu satiksmes plānošanu AI vidēs. Dizainā tiek izmantota arī virtualizācija, lai nodrošinātu vairāku nomnieku izolāciju, kā arī piedāvāti lietojumprogrammu scenāriji un plānošanas norādījumi efektīviem, stabiliem un viediem AI datu centru tīkliem.
Ievads: Tīkla attīstība AI Laikmets
Kāpēc tradicionālie tīkli cīnās ar AI Satiksme
Tradicionālajos datu centru tīklos liels skaits mazu plūsmu nodrošina katras plūsmas slodzes līdzsvarošanu, lai panāktu pieņemamu sadalījumu un izvairīšanos no sastrēgumiem pat tad, ja reāllaikā nav zināms par tīkla apstākļiem. AI trafiks ir ļoti atšķirīgs: joslas platuma izmantošana ir ārkārtīgi augsta, un satiksmē bieži dominē tikai dažas ziloņu plūsmas. Tāpēc sadursmes ar jaucējkrānu var radīt vairākas lielas plūsmas vienā un tajā pašā ceļā, kamēr citi ceļi netiek izmantoti. Kad notiek pakešu zudums, visas AI darba slodzes pabeigšanas laiks var ievērojami palielināties. Šī iemesla dēļ nozare arvien vairāk koncentrējas uz optimizētiem slodzes-līdzsvarošanas algoritmiem mākslīgā intelekta materiāliem, lai datplūsma tiktu sadalīta vienmērīgāk pa vairākiem ceļiem.
1. attēls. AI ziloņu-plūsmas satiksmes un tradicionālās mazās{2}}plūsmas satiksmes salīdzinājums.
Dinamiskas izpratnes apvienošana ar pārdomātu lēmumu{0}}pieņemšanu
Dinamiskā viedā maršrutēšana ir uz izpratni balstīta-slodzes-līdzsvarošanas tehnoloģija. Tas izmanto ceļa kvalitāti, ko uztver auduma slēdži, lai pielāgotu lokālā ceļa izvēli, un atbalsta dinamiski svērtu slodzes līdzsvarošanu. Uz BGP balstītā tehnoloģija definē jaunu paplašinātu kopienas atribūtu.
Lai novērtētu ceļa kvalitāti, tiek izmantoti daudzdimensionāli augstas precizitātes mērījumi, un rezultāti tiek izplatīti, izmantojot BGP, lai vadītu turpmāko trafika pārsūtīšanu. Tas uzlabo tīkla-plašā slodzes sadalījumu un samazina lietojumprogrammas reakcijas laiku [1].
2. attēls. Dinamiskā apzināšanās, lēmumu pieņemšanas un izpildes darbplūsma.
Pamattehnoloģijas: viedā satiksmes plānošana
Galvenās tīkla slodzes{0}}līdzsvarošanas pieejas ietver:
- Per-plūsmas ECMP: visizplatītākā pieeja, kuras pamatā ir piecu-korpusu jaukšana. Tas darbojas labi, ja ir daudz plūsmu, un saglabā pakešu secību, taču jaucējkodolu sadursmes var radīt sliktu līdzsvarošanu, ja plūsmu skaits ir zems, piemēram, AI apmācībā [1].
- Līdzsvarošana, kas balstīta uz plūsmu{0}}: ir atkarīga no pareizas starpplūsmas -plūsmas konfigurācijas. Precīza konfigurācija ir sarežģīta, ja globālā ceļa-līmeņa latentums nav zināms [1].
- Pa-pakešu ECMP: nodrošina izcilu teorētisko līdzsvaru, taču var radīt plašu pakešu pārkārtošanu uztvērējā [1].
Dinamiskā viedā maršrutēšanas pieeja, ko izmanto XingRongyuan CX-N Series RoCE slēdži (pamatojoties uz SONiC-), apvieno uz -plūsmas ECMP un Flowlet- balstītu balansēšanu. Tas ievieš dinamisku WCMP (svērto izmaksu daudzceļu) un Flowlet{5}}bāzētu ALB (automātisko slodzes līdzsvarošanu) [1].
Ceļa kvalitātes mērīšana
Sistēma novērtē tīkla ceļa kvalitāti, izmantojot faktorus, kas spēcīgi ietekmē AI klasteru struktūru, tostarp joslas platuma izmantošanu, rindu izmantošanu un pārsūtīšanas latentumu.
Statistikas skaitītāji
Joslas platums un rindas izmantošana tiek mērīta, izmantojot ASIC aparatūras skaitītājus ar precizitāti simts{0}}milisekundes līmenī. ASIC reāllaikā reģistrē porta-pārsūtīšanas un rindas-pārsūtīšanas skaitītājus. SONiC vadības plakne nolasa skaitītājus, izmantojot SAI interfeisu, ar zem-sekundes precizitāti un saglabā tos Redis. Maršrutēšanas{7}}vadības process novērtē saskarnes kvalitāti, izmantojot šos skaitītājus, un reklamē rezultātu, izmantojot BGP. Lai ierobežotu vadības-plaknes slodzi, reklāmas pašlaik tiek sūtītas otrā{10}līmeņa intervālos, vairākiem paraugiem piemērojot vidējo svērto vērtību; jaunāki paraugi saņem lielāku svaru.
In-joslas telemetrija
Pārsūtīšanas-kaves mērīšana ir balstīta uz INT (in-band Network Telemetry) un var sasniegt nanosekundes-līmeņa precizitāti. HDC (High Delay Capture) tver paketes, kurām ASIC iekšienē ir augsts latentums. Ja pakete pārsniedz lietotāja -definēto aizkaves slieksni, slēdzis nosūta pirmos 150 baitus no sākotnējās paketes kopā ar metadatiem, tostarp ieejas portu, izejas portu un latentumu, uz savācēju. Šajā dizainā centrālais procesors darbojas kā HDC savācējs un analizators, nodrošinot augstas-precizitātes pārsūtīšanas-kaves mērījumus un precīzāku ceļa{10}}kvalitātes novērtēšanu.
3. attēls. Ceļš-kvalitātes izplatīšana un WCMP instalēšana.
Tehnoloģija izmanto jaunu BGP paplašinātās{0}}kopienas atribūtu Path Bandwidth Extended Community, lai norādītu kopējo ceļa kvalitāti uz galamērķi. Paplašinātā-tipa lauka augstākās-kārtības baits ir 0x00 un zemākās-kārtības baits ir 0x05. Vērtības laukā apakšlauks Globālais administrators apzīmē AS numuru. Ceļa kvalitāte ir kodēta četros baitos, izmantojot IEEE peldošā{10}}punkta formātu, un izteikta GB/s.
Kad NIC1 sazinās ar NIC2, NIC2 vispirms reklamē savu IP adresi Leaf2. Leaf2 reklamē adresi Spine kopā ar saites -kvalitātes vērtību pret NIC2, kas reizināta ar Leaf2 lejupsaites svaru. Spine pievieno savu svērto saites kvalitāti un nodod uzkrāto vērtību Leaf1. Leaf1 apkopo ceļa kvalitāti un instalē maršrutus, kas vada pārsūtīšanu. Divu{12}}līmeņu lapu{13}}mugurkaula audumā porti tiek klasificēti kā Leaf augšupsaites, Leaf lejupsaites un Spine porti ar konfigurējamiem aprēķina koeficientiem katrai klasei.
Dinamiskais WCMP
Slodzes līdzsvarošana sadala trafiku vairākās saitēs. AI vidē tas ir būtiski, lai izveidotu Ethernet tīklu bez zudumiem ar minimālu pakešu zudumu, latentumu un caurlaidspējas pasliktināšanos. ECMP ir parastais mehānisms datu centros. WCMP paplašina ECMP, izplatot
trafiku proporcionāli saitēm. Dinamiskajā viedajā maršrutēšanā WCMP svari tiek pielāgoti reāllaikā atbilstoši ceļa kvalitātei. Piemēram, ja starp NIC1 un NIC2 pastāv divi ceļi, sistēma var aprēķināt attiecību 3:7. Mainoties satiksmei, atjauninātā-ceļa kvalitātes informācija tiek izplatīta caur BGP uz katru Leaf slēdzi, kur tiek ģenerēti dinamiski WCMP maršruti, lai vadītu pārsūtīšanu.
Nenormāla ceļa noņemšana
Ja ceļa kopējā kvalitāte ir zemāka par saskaņoto slieksni, ceļš tiek uzskatīts par nederīgu AI darba slodzei un tiek noņemts no pārsūtīšanas. Pārējie ceļi turpina pārvadāt trafiku, izmantojot dinamisko WCMP. Kad ceļš atgriežas normālā stāvoklī, tas tiek atjaunots. Lai gan tas īslaicīgi var atstāt neizmantotu daļu jaudas, tas novērš nopietnākus sastrēgumus un pakešu zudumus [1].
Inteliģentā slodzes līdzsvarošana (ALB)
ALB nodrošina slodzes sadalījumu, pamatojoties uz Flowlet{0}}. ASIC reāllaikā mēra slodzi un latentumu dažādos portos un novirza katru Flowlet uz saiti ar mazāku slodzi vai mazāku aizkavi. Tas papildus tradicionālajai ECMP pievieno smalkāku-plānošanu. ALB atbalsta arī porta kļūmjpārlēci un automātiski pārdala trafiku, ja izejas saite neizdodas [1].
Virtualizācija
Priekš{0}}tīklos bieži ir nepieciešams vairāku-nomnieku atbalsts, lai dažādiem lietotājiem varētu piešķirt dažādus GPU resursus. Risinājums izmanto VRF (virtuālo maršrutēšanu un pārsūtīšanu), lai izolētu nomniekus, katram lietotājam piešķirot vienu VRF. GPU-saistītie apakštīkli tiek ievietoti lietotāja VRF, un ASIC PRE ACL klasificē ieejas trafiku tā, lai katra lietotāja trafika tiktu pārsūtīta tikai attiecīgajā VRF [1].
Lietojumprogrammu scenāriji
1. Kā dinamiskais WCMP absorbē satiksmes pārspriegumus
Audumam ar 256 x 400 G GPU pieslēgvietām var izveidot divu līmeņu Clos arhitektūru ar lejupsaites-līdz-augšupsaites konverģences attiecību 1:1, lai uzturētu augstu caurlaidspēju, lielu joslas platumu un simetrisku kapacitāti. Piemēroti produktu modeļi ir XingRongyuan CX864E-N vai CX732Q-N [1]. Izmantojot parasto ECMP, neliels skaits AI ziloņu plūsmu var sajaukt uz vienu un to pašu mugurkaulu, izraisot augšupsaites pārslodzes vai pakešu zudumus. Dinamiskais WCMP nepārtraukti pielāgo trafika sadalījumu atbilstoši reāllaika{15}}ceļa kvalitātei, samazinot satiksmes pieaugumu un izvairoties no sastrēgumiem [1].
2. Flowlet-līmeņa slodzes līdzsvarošana
Tajā pašā 256 x 400 G GPU audumā ne katrai ierīcei vai darba slodzei vislabāk atbilst dinamiskais WCMP. Slēdzis var dinamiski atlasīt Flowlet{3}}balstītu ALB. ALB mēra saišu slodzi un latentumu ECMP grupā un nosūta Flowlets saitēm ar mazāku izmantošanu vai aizkavi. Ja saskarne tiek pārslogota vai palielinās tā pārsūtīšanas aizkave, ASIC automātiski izvairās no šīs izejas, līdz apstākļi atgriežas normālā stāvoklī [1].
AI tīkla plānošana un projektēšana
AI pakalpojumi parasti ietver trīs posmus: datu vākšanu un priekšapstrādi, modeļu apmācību un AI secinājumus. Katrs posms izvirza dažādas prasības tīklam.
1. Datu vākšana un pirmapstrāde
Globālam apmācību{0}}datu vākšanas un pirmapstrādes tīklam ir jānodrošina liela-mēroga, elastīgi publiskie IP un joslas platuma resursi, lai no globālā interneta varētu efektīvi savākt lielas neapstrādātas datu kopas. Dizainam jānodrošina droša un stabila pārraide, vienlaikus uzlabojot datu apkopošanu un priekšapstrādes veiktspēju [2].
1.1 VPC segmentācija
VPC projektēšanai mākoņa{0}}datu vākšanai ir jāievēro vismaz-privilēģijas, slāņveida izolācija, drošības kontrole un elastīgas mērogojamības principi. Var izmantot vairākus VPC vai vairākus apakštīklus vienā VPC [2].
- Segmentējiet pēc pakalpojuma posma: izvietojiet datu apkopošanu, pirmapstrādi, glabāšanu, apmācību un secinājumus atsevišķos apakštīklos vai VPC. Novietojiet savākšanas ieejas punktus DMZ VPC vai publiskajā apakštīklā; ievietot pirmapstrādes un pagaidu datus īpašā apstrādes VPC; ievietojiet sensitīvus neapstrādātus datus un AI apmācību augstas -drošības VPC bez tiešas publiskas piekļuves.
- Izolēt pēc drošības līmeņa: izveidojiet augstas-, vidējas- un zemas-drošības VPC vai apakštīklus un izmantojiet drošības grupas, tīkla ACL un privāto savienojumu, lai kontrolētu starp-VPC un starp-apakštīklu trafiku.
- Izšķirt pēc nomnieka vai projekta: piešķiriet atsevišķiem VPC dažādiem nomniekiem vai projektiem, lai izolētu resursus, tīklus un datus.
1.2. Datu vākšanas izejas tīkls
NAT vārteja: izmantojiet EIP un SNAT kopu, izmantojot NAT vārteju, ļaujot savākšanas programmām piekļūt internetam no nejauši atlasītām publiskām IP adresēm.
Paš-izveidots starpniekserveris: izvietojiet starpniekserverus, kas uztur kartējumus starp apkopošanas procesiem un publiskajām IP adresēm, un izplata vienu vākšanas pieprasījumu pa vairākiem starpniekserveriem.
IP pakalpojumu sniedzējs: izveidojiet savienojumu ar IP pakalpojumu sniedzēju mākoņa privātajā tīklā, lai iegūtu zemākas izmaksas, kontrolētu drošību un stabilu kvalitāti [2].
1.3. Reģionu{1}}datu apkopošana un pirmapstrāde
Atlasiet OSS reģionu saskaņā ar pirmapstrādes-klastera plānu un izveidojiet datu-apkopošanas VPC tajā pašā reģionā. Izveidojiet tranzīta maršrutētāju (TR) katrā reģionā, pievienojiet vietējos VPC un savienojiet TR, lai reģionālie vākšanas VPC varētu tieši piekļūt centrālajam OSS. Tādi pakalpojumi kā PAI-iTAG, MaxCompute un Flink pēc tam var veikt datu marķēšanu un priekšapstrādi OSS reģionā [2].
2. Modeļu apmācības tīkls
Modeļa-apmācības tīkls ir cieši integrēts savākšanas un pirmapstrādes tīklā, lai izveidotu globālu tīklu, kas savieno mākoņdatu centrus, malas mezglus un -telpu IDC.
Ātrgaitas{0}}starpsavienojums nodrošina zemu-latenci, lielu-caurlaidības datu kustību, savukārt joslas platumam, drošības politikām, piekļuves kontrolei un avārijas seku novēršanai ir jābūt izstrādātiem pilnībā [2].
- -Reģionā starp-klasteru aprēķinu pūls: tranzīta maršrutētājs savieno vairākus VPC vienā reģionā. Servera ENI savienojas ar VPC slēdžiem, un tos var konfigurēt vajadzīgajai caurlaidspējai un RDMA.
- Šķērs-mākonis skaitļošanas pūls: speciālas shēmas savieno IDC vai citu mākoni ar to pašu-reģiona VPC. Alibaba Cloud VBR savienojas 3. slānī ar vienādranga ierīci, izmantojot BGP, BFD un ātru kļūmjpārlēci ātrai konverģencei.
Globālais aprēķinu pūls: starpreģionu saites starp TR tiek nodrošinātas saskaņā ar maksimālo starp-reģionu trafiku, ar izvēles starpreģionu QoS, lai izveidotu vienotu aprēķinu pūlu dažādos reģionos [2].
3. Global Inference{1}}Pakalpojumu tīkls
Globālais secinājumu tīkls izvēlas izvietošanas modeļus atbilstoši katrā reģionā pieejamajiem resursiem un mākoņpakalpojumiem un nodrošina efektīvu pakalpojumu izplatīšanu un piekļuvi [2].
- Modeļa vai aģenta izvietošana: izmantojiet Model Studio MaaS izvietošanu, PAI-EAS vai Function Compute PaaS izvietošanu vai IaaS izvietošanu EGS, ACK, ACS vai Lingjun tukšajā{1}}metāla infrastruktūrā klienta VPC.
- Pakalpojumu izplatīšana: izveidojiet secinājumus{0}}izplatīšanas VPC un pievienojiet privātos tīklus, izmantojot VPC Peering, saistītos mākoņpakalpojumu{1}}VPC vai PrivateLink. Izvietojiet ALB vai uzlaboto ALB kā piekļuves punktu un starpniekservera pieprasījumus dažādiem modeļiem vai aģentiem.
- Pakalpojuma piekļuve: vietējie interneta lietotāji var tieši piekļūt uzlabotajam ALB; attālie lietotāji var izmantot Global Accelerator (GA); iekšējie vai ārējie Alibaba Cloud uzņēmuma lietotāji var izveidot savienojumu privāti, izmantojot PrivateLink.
Secinājums un perspektīva
Šajā baltajā grāmatā ir izskaidrotas problēmas, ar kurām saskaras IDC tīkli AI laikmetā, un tas, kā dinamiska viedā maršrutēšana var tās risināt. Dinamiskā izpratne, vieda lēmumu pieņemšana, WCMP, ALB un VRF virtualizācija uzlabo slodzes-līdzsvarošanas efektivitāti, samazina sastrēgumus un pakešu zudumus, kā arī paātrina AI apmācību un secinājumus. Plānošanas sadaļā ir uzsvērta VPC segmentācija, savākšanas-izejas dizains, starp-reģionu apkopošana un pirmapstrāde, modeļu apmācība un globālo secinājumu sniegšana. Tā kā AI turpina attīstīties, datu centru tīkli saskarsies ar stingrākām prasībām. Dinamiskā viedā maršrutēšana turpinās uzlaboties AI, apvienotās mācīšanās un citiem sarežģītiem scenārijiem. Nākotnes IDC tīklos lielāks uzsvars tiks likts uz skaitļošanas-tīklu konverģenci, energoefektivitāti un automatizētām darbībām, radot viedāku, efektīvāku un uzticamāku digitālās ekonomikas pamatu.
Atsauces
Lietotāja-nodrošināts tehniskais avota dokuments.
Alibaba Cloud AI tīkla baltā grāmata. Skatīts 2026. gada 27. maijā.
https://help.aliyun.com/zh/cloud-network-labi-arhitektēts-design/alibaba-cloud-ai-network-baltais{10}}papīrs