Els sistemes tradicionals de presa de decisions de conducció autònoma sovint es basen en el disseny modular. Des de la percepció mediambiental, la planificació de la presa de decisions fins al control del vehicle, cada subsistema funciona de manera independent i controla col·laborativament el funcionament del vehicle. En escenaris de trànsit complexos, aquesta arquitectura jeràrquica és propensa a problemes com ara errors acumulats, pèrdua d’informació i un rendiment en temps real insuficient. Els grans models canvien gradualment aquesta situació amb els seus paràmetres massius, les capacitats de processament de dades transversals i els paradigmes d’aprenentatge final a extrem. No només pot aconseguir una fusió eficient de dades multi-sensors a nivell de percepció, sinó que també planificar estratègies de conducció més raonables dels vehicles mitjançant una comprensió semàntica profunda i un raonament lògic a nivell de decisió, millorant així la seguretat i la robustesa general.
Els avantatges dels grans models en la conducció autònoma
El procés de desenvolupament de la tecnologia de conducció autònoma ha passat per diverses etapes, des de la conducció assistida precoç fins a la transició gradual fins a la conducció totalment autònoma. Els sistemes primerencs es basaven principalment en la detecció i el control de regles simples. Amb el desenvolupament d’un aprenentatge profund, l’adopció de mètodes com CNN, RNN i fins i tot Gan ha millorat contínuament la percepció ambiental i les capacitats de presa de decisions. A més, la tecnologia que combina la representació i el transformador de BEV (Bird's Eye) ha constituït, fins a cert punt, les deficiències dels mètodes tradicionals en el modelat espaciotemporal. Es pot dir que la introducció de grans models és fonamentalment la remodelació de l'arquitectura general dels sistemes de conducció autònoma, que constitueix una base sòlida per a la comercialització de nivells de L3, L4 i fins i tot L5 en el futur.
L’arquitectura del model basada en el transformador sol adoptar el mecanisme d’autotació, que pot captar dependències de llarga distància, millorant significativament la globalitat i la precisió del processament de la informació. Mitjançant l’enfocament prèvia a l’ajustament de la formació, el model està format prèviament en dades no etiquetades a gran escala i, a continuació, ajustades per a tasques específiques de conducció autònoma. Això no només redueix la confiança en una gran quantitat de dades etiquetades, sinó que també permet al model tenir bones capacitats de migració de domini creuat. Els models grans multimodals poden processar simultàniament diverses formes de dades com ara imatges, núvols de punts i dades de radar, aconseguint un salt de "veure" a "comprensió" i dotar sistemes de conducció autònoma amb capacitats cognitives similars a les dels humans.
L’aplicació específica de grans models en la conducció autònoma
En els sistemes de conducció autònoma, l’aplicació de grans models es reflecteix principalment en diversos aspectes com la percepció ambiental, la presa de decisions i la planificació i el control del vehicle. En termes de percepció ambiental, els sistemes tradicionals es basen principalment en les dades d’un únic sensor per a la detecció d’objectius i la segmentació semàntica. No obstant això, a causa de les limitacions de la il·luminació, el clima i els sensors mateixos, sovint tenen dificultats per afrontar escenaris complexos. Mitjançant la tecnologia multimodal de fusió de dades, els models grans poden integrar diverses dades com ara càmeres, lidars, radars d’ona mil·límetre i mapes d’alta precisió per formar una representació més rica i precisa del medi. Per exemple, el model d’acció en llengua visual (VLA) pot extreure simultàniament la informació visual i la informació semàntica a la imatge i mostra una precisió extremadament alta en la detecció d’obstacles, prediu comportaments per als vianants i jutjant les condicions de la carretera. Després que la informació de diversos sensors es fongui profundament pel model gran, no només es millora la robustesa de la detecció de la detecció de l'objectiu, sinó que també es pot aconseguir la predicció d'escenes dinàmiques mitjançant una anàlisi de sèries de temps, proporcionant una entrada més fiable per a la presa de decisions del vehicle.
A nivell de presa de decisions i planificació, els sistemes tradicionals de conducció autònoma solen confiar en regles preestablertes o algoritmes de planificació basats en models per convertir els resultats de percepció en decisions de planificació i acció de ruta. Tanmateix, aquest mètode és propens a la fallada quan s’enfronta a condicions de trànsit complexes que no s’han vist mai abans, i el disseny de la interfície entre cada mòdul és bastant rígid, cosa que dificulta l’optimització de final a extrem. Mitjançant un marc d’aprenentatge final a extrem, els grans models poden extreure directament informació clau de les dades del sensor brut i generar ordres de control de vehicles mitjançant un raonament lògic inherent. DriveGpt -4 i LanguagEmpc han demostrat el potencial d'utilitzar models grans per a la presa de decisions de tasques múltiples. Els seus models no només poden generar estratègies de conducció raonables en escenaris complexos, sinó que també proporcionen explicacions detallades, millorant la interpretabilitat del sistema. L’avantatge d’aquesta presa de decisions de final a extrem consisteix en reduir els errors intermedis en el procés de transmissió d’informació i permetre que tot el sistema tingui la capacitat d’adaptar-se als nous escenaris.
El control del vehicle, com a pas final de la conducció autònoma, requereix no només la precisió de la presa de decisions, sinó també la garantia de la resposta en temps real del sistema. Com que els models grans solen tenir nombrosos paràmetres i costos computacionals enormes, hi ha certs reptes en el seu desplegament directe en sistemes muntats en vehicles. La indústria ha fet exploracions àmplies en la compressió i el pes lleuger del model. Mitjançant la tecnologia de destil·lació del model, s’extreu el coneixement essencial en models grans i es transfereix a models petits i eficients per aconseguir una coincidència perfecta amb el maquinari a l’interior (com la sèrie NVIDIA Drive AGX). Aquesta tecnologia no només conserva l’elevat rendiment dels grans models, sinó que també garanteix que el temps de resposta compleix els requisits del control en temps real, jugant un paper important en el procés de comercialització de la conducció autònoma L3/L4.
En la simulació i la verificació del bucle tancat de la conducció autònoma, els grans models també han demostrat avantatges importants. La formació amb dades a gran escala i escenes sintètiques pot construir models mundials realistes i es poden aconseguir proves de llaç tancat en un entorn virtual mitjançant la tecnologia de bessons digitals. Aquest mètode no només redueix significativament els riscos i els costos de realitzar un gran nombre de proves a les carreteres reals, sinó que també pot simular ràpidament diversos escenaris extrems i llargs, proporcionant un suport de dades suficient per a l’optimització iterativa del model. El model Emma de Waymo, aprofitant les plataformes de simulació i la gran tecnologia del model, ha aconseguit la predicció de trajectòria d’alta precisió i la presa de decisions d’evitació de col·lisions. El seu rendiment supera amb escreix els sistemes jeràrquics tradicionals, proporcionant un nou enfocament per a la verificació de bucle tancat de futurs sistemes de conducció totalment autònoms.
A més, els grans models també han tingut un paper important en la millora de la seguretat del sistema i l’experiència dels usuaris. La conducció autònoma no és només un problema tècnic; També implica problemes d’interacció entre ordinadors humans i de confiança social. Mitjançant la tecnologia de processament de llenguatges naturals, els grans models poden aconseguir converses en temps real amb els conductors, proporcionar suggeriments de conducció i alertes d’emergència i, fins i tot, oferir assistència personalitzada en funció de les emocions del conductor. Aquest disseny d’interacció pot millorar significativament la confiança dels passatgers, fent que el sistema de conducció autònom no només sigui més avançat en tecnologia, sinó que també s’adapti a les necessitats dels usuaris en aplicacions pràctiques.
Quins reptes es plantegen els grans models en la conducció autònoma?
Tot i que els grans models han mostrat un gran potencial en el camp de la conducció autònoma, encara hi ha molts problemes per transformar -los des dels èxits de laboratori en aplicacions comercials. Els recursos de rendiment i informàtica en temps real són un dels principals colls d’ampolla actualment. Els grans models solen tenir una gran escala de paràmetres i una alta complexitat computacional. Per generar decisions dins del nivell de mil·lisegons suposa requisits extremadament elevats per a la potència informàtica de la plataforma informàtica en vehicles. Es poden utilitzar xips dedicats a IA i es poden comprimir models grans mitjançant tècniques com la destil·lació i la quantització del model, esforçant-se per complir els requisits de resposta en temps real alhora que garanteixen el rendiment.
Els problemes de seguretat i robustesa són també reptes fonamentals en l’aplicació de grans models. Una vegada que un vehicle autònom comet un error de presa de decisions, les conseqüències poden ser molt greus. Per tant, els grans models han de patir proves i verificació estrictes abans de ser utilitzats pràctics per assegurar -se que poden respondre correctament en diversos escenaris complexos i extrems. A causa de la "caixa negra" dels grans models, sovint són difícils d'explicar els seus processos interns de presa de decisions. Com millorar la interpretabilitat del model alhora que garantir que l’alt rendiment s’ha convertit en un problema urgent per resoldre les autoritats i els fabricants d’automòbils. En el futur, mitjançant la combinació de mètodes com l’aprenentatge de reforç, l’ajustament fi basat en la retroalimentació humana i les restriccions de regla, s’espera que dissenyin sistemes de presa de decisions eficients i transparents.
La privadesa de les dades i els problemes ètics no es poden ignorar en l'aplicació de grans models. Els sistemes de conducció autònoms han de recollir una gran quantitat de dades de vehicles, ambientals i d’usuari i l’emmagatzematge i l’ús segur d’aquestes dades estan directament relacionats amb la protecció de la privadesa de l’usuari. Com aprofitar plenament els avantatges de les dades grans alhora que es garanteix la seguretat de la transmissió i el processament de dades és el primer problema que les autoritats reguladores han d’afrontar. Cal formular estàndards estrictes de protecció de dades i mecanismes de protecció de la privadesa per proporcionar garanties institucionals per a l’aplicació segura de grans models en la conducció autònoma.
La col·laboració entre programari i maquinari és també la clau per a la implementació de grans models. L’aplicació amb èxit de grans models no només depèn de la innovació de l’algoritme, sinó que també requereix un suport de maquinari d’alt rendiment. Actualment, els principals fabricants han llançat successivament plataformes informàtiques en vehicles de generació de nova generació, com Nvidia Drive AGX Pegasus, Atlan, etc. Aquestes plataformes proporcionen garanties de maquinari per a la inferència en temps real i el desplegament a gran escala de grans models. L’avançament continu de la tecnologia del sensor també ha proporcionat fonts de dades més abundants i d’alta qualitat per a la fusió de dades multimodals. Amb la millora contínua de tot l’ecosistema de la conducció autònoma, la profunda integració del programari i el maquinari està obligat a conduir tota la indústria en una nova era de viatges intel·ligents.
L’impacte profund dels grans models en la tecnologia de conducció autònoma no només es reflecteix en detalls tècnics, sinó que també ha desencadenat un canvi de paradigma dels sistemes modulars tradicionals a l’extrem i de la intel·ligència perceptiva a la intel·ligència cognitiva. El futur sistema de conducció autònoma, dirigit per grans models, aconseguirà una percepció ambiental de major precisió, una presa de decisions i una planificació més flexibles, així com un control de vehicles més segur i eficaç. Al mateix temps, assolirà un nou nivell en la interacció humana-màquina, l’assistència personalitzada i la seguretat de les dades.