- 2 settimane fa
Categoria
📺
TVTrascrizione
00:05buongiorno a tutti i telespettatori di classe mc e benvenuti a day of agents il nostro nuovo
00:12approfondimento che oramai insomma proprio nuovissimo non è visto che oramai quattro
00:16puntate le abbiamo portate già a casa insieme a marcella de andrade admin.it buongiorno marcella
00:21e ben ritrovata buongiorno buongiorno allora di cosa parliamo quest'oggi ecco oggi iniziamo
00:28ad approfondire il motore che c'è dietro sia le chat che gli agenti ok quindi così chiudiamo
00:35tutti i pilari che servono per poi iniziare a crearli effettivamente a farli girare in locale
00:41in locale in locale offline dal proprio computer o telefono ah interessante prego allora partiamo
00:49non tutte le ai sono uguali il modello giusto per il lavoro giusto llm slm e prompt engineering
00:57facciamolo vedere per favore il nostro anche le slide di accompagnamento di che si tratta
01:04marcella ecco allora prima giustamente di andare a iniziare a lavorare con a scegliere un llm un
01:13modello per installare nel proprio pc bisogna capire cosa sono le differenze quali effettivamente che si
01:20riesce a utilizzare e per cosa si utilizza allora andiamo avanti prego modello chat e agente esatto
01:29facciamo chiarezza su questo punto che allora il modello è sempre il motore quindi il motore
01:36diciamo il cervello si la chat è l'interfaccia quindi ad esempio chat gpt cloud sono chat sono chat bot
01:45chat
01:45chat esatto sono applicazioni che fanno accedere al modello fanno parlare con il modello ok quindi
01:55una finestra di accesso al cervello un layout un layout esatto lasciate un software un'applicazione
02:02che permette di accedere a un modello specifico l'agente utilizza sempre il modello ma qual è la
02:10differenza tra un agente e una chat a parte il modello soltanto che ha lo stesso quindi tutto il
02:17resto è diverso perché lui ha con sé permessi memoria e strumenti che lasciate non ne ha lasciate
02:25bloccate una finestra lasciate bloccata e gli facciamo fare le cose che diciamo adesso in questo
02:32momento lui le fa o ci risponde sulla nostra domanda si interroga creami un documento sì ma all'interno di
02:39quel perimetro lì di quello che permette l'applicazione ho capito ok mentre mentre la gente se
02:48gli viene dato dei permessi all'interno di un server o di un computer lui basta che sappia che ogni
02:56giorno
02:57deve produrre un documento che lui agisce che il vecchio claim che avevamo fatto le prime volte
03:03la chat ci parli la gente agisce la gente agisce esattamente esattamente e allora andiamo sui modelli
03:11linguistici l lm ecco appunto large language model quindi large sta per grande sono i modelli che sono
03:18addestrati su enormi quantità di linguaggio famoso addestramento dei dati le server gpu invidia che
03:25servivano per trasferire in gozza io ho preso questo a riferimento quando il tacchino di natale non ci infigli
03:32lì era la stessa cosa con i server ci infigliamo i dati esatto ma parliamo qua di modelli che servirebbero
03:38dei server
03:39anche di 5 10 milioni di dollari più i sistemi di raffreddamento per riuscire a farli girare
03:45quindi un lm come gpt 5 o cloud opus non si riuscirebbe mai a farli girare offline ok sul mio
03:55computer di casa
03:56dubito che si riesca a fare no purtroppo non parliamo neanche di mitos quello è il nuovo modello di entropica
04:03ma perché qua si parlano di parametri diciamo di più di un trilione quasi due tre trilioni di
04:13parametri quindi sono modelli giganteschi e quindi la differenza qua qual è un lm alla fine non
04:22non esistono tanti al mondo ok anche se si possono classificare anche alcuni slm come diciamo sono
04:29già grandi ma questi sono diventati talmente enormi che sono pochi gpt cloud gemini hanno fagocitato
04:38insomma tutto quanto esatto esatto e sono il motore sotto l'app e appunto e poi ci sono gli slm
04:47che
04:47sono i small language models che sono i modelli piccolini che si parlano di alcuni miliardi di
04:55parametri ok questi possono essere installati in maniera locale cioè costo zero su un proprio pc
05:05ovviamente serve un pc che abbia ad esempio apple ha il suo la sua memoria ram è già unificata quanto
05:14ti
05:14serve a partire da 8 8 a salire da 8 a salire sì ovviamente qui si parla 8 giga più
05:20o meno un
05:21modello circa 7 miliardi di parametri che sono piccolissimi ma comunque sono bravi per fare
05:27attività piccoline saliamo a 16 giga di memoria ram già si possono installare i modelli pari a 15
05:37miliardi si rapporta più o meno questo quello è capito 64 giga giro un modello che è sempre un slm
05:46ma è
05:47considerato un large language model perché è pari al gpt 4 ah ok riesce a farlo girare sotto
05:53computer a patto che hai una ram comunque da 64 giga 64 giga esatto è interessante andiamo avanti
06:01esatto e qua infine la differenza praticamente è se hai un large language model in mano cioè se stai
06:09parlando con un gpt un cloud in gemini serve più contesto altrimenti si rischia che ti inventi le
06:17cose che la famosa devo dare un prompt un ordine completo articolato dove c'è tutto definito esatto
06:28esatto più e cioè sono talmente capace che anche con una riga di prompt si riesce a fare tante cose
06:35ma per riuscire ad avere una qualità migliore la precisione di quello che si cerca quando si
06:42utilizza una i più è grande il modello più è potente più ha bisogno di ricevere più dettagli così da
06:50chiudere
06:51lì dentro invece gli slm al contrario se gli dai un contesto troppo grande un prompt gigante si perde e
06:59non riesce ma veramente avrei pensato il contrario no no no infatti tutti pensano ma è esattamente
07:06quello ad esempio se uno fa il test con un modello mini che sono le chat tipo chat gpt sono
07:12i modelli mini
07:13se prova a dare un contesto lungo così ma fa un lavoro che non in guarda non va bene non
07:19funziona
07:20invece se gli dai una tasca piccola trova questo in questo documento
07:25dammi 5 cose direte esatto quindi i modelli piccoli ai modelli piccoli vanno dati meno contesti
07:34ai modelli piccoli meno contesti a quelli grandi più dettagli più dettagli esatto
07:40pensa te avevi proprio pensato al contrario io esatto ecco qua importante chiarire che non è una
07:48gara tra i modelli quindi non esiste un modello migliore infatti gpt si è specializzata su una
07:53cosa giustamente claude su un'altra quindi chi dice a preferire gpt sapevo che era forte sulla creazione
07:59di documenti di cose del genere infatti gpt è una finestra di contesto molto più importante rispetto a
08:07claude è la finestra più piccola di contesto quindi claude è più è più agentica nel modo di essere
08:16quindi quasi è più addestrata per riprodurre proprio un essere umano invece gpt è più precisa
08:24quindi se deve fare un documento revisionare un contratto un'attività che serve comunque una un
08:33occhio più clinico io utilizzerei gpt gpt esatto invece se si deve creare fare un lavoro di
08:41creatività di fare creare dei dei dei contenuti social piuttosto che dare delle idee briefing li
08:50claude è più ma noi avevamo parlato anche di open club no quella sistema che per costruire gli agenti a
08:59poi nel corso del proseguo del nostro verticale sugli agenti avremo modo di spiegare poi tutto
09:05ancora più definitivo quello che vorrei chiedere open club in base alla mia richiesta poi decide lui
09:15sì perché lui già sa che se la mia richiesta è più per mfgp di per mfgp di perdonate la
09:21l'appsus va su chat gpt se no sceglie già lui in base al prompt che gli dico sì esatto
09:29open club così
09:30come hermes che il nuovo open club ecco su hermes poi dovremmo parlare loro sono framework quindi sono
09:38quelli che permettono di installare un agente e alla gente viene dato diverse ipi con accessi a tutti i
09:47modelli sia quelli piccoli che quelli anche quelli piccolini esatto esatto quindi cosa succede qua e la
09:54gente al solito ha un modello di diciamo che quello che chiamiamo l'orchestratore se che al solito
10:02viene utilizzato claude perché è più bravo più esatto ma a seconda dell'attività sceglie lui a meno che che
10:12decida tu in anticipo dire che gli dico io usi quello così esatto esatto ecco questo è importante il
10:20prompt da dare ossia l'ordine la richiesta questa è prompt engineering questo è il titolo perfetto non
10:29è magia e imparare a fare le domande migliori le domande o dai task migliori esatto qual è la
10:35costruzione per un task perfetto per un prompt perfetto ecco questa questa formulina serve sia
10:42per gli agenti che per le chat quindi se uno sta utilizzando semplicemente una un'applicazione
10:49no una chat vale la stessa formula stessa cosa per per l'agente quindi qua da tenere in mente
10:56questi quattro da rispondere al contesto primo obiettivo vincoli formato esatto questa è la la la striscia
11:07magica per costruire un buon task un buon prompt esatto contesto contesto quindi ecco ho iscritto a
11:15questo cliente settimana scorsa non mi ha ancora risposto mi aveva telefonato lui ok il contesto
11:23generale della situazione l'opposizione dov'è che stiamo parlando di cosa stiamo parlando obiettivo
11:29obiettivo riaccendere il lead voglio che lui voglio fare una mail di follow up senza sembrare
11:37troppo aggressivo l'obiettivo fissare una call ok contesto poi l'obiettivo l'obiettivo vincoli i vincoli
11:48guarda che gli avevo mandato questa offerta ma non l'ha ricevuto non l'ha ricevuto tornato indietro
11:55so che è un cliente già passato un cliente che ho già servito in passato oppure un cliente che
12:02è di questa azienda i vincoli quindi ho capito inizia a funilare e poi il formato voglio in cinque
12:10righe voglio un formato professionale caldo è un tono di voce e la caratteristica diciamo emotiva
12:21se no emotiva magari troppo vincolante comunque il formato capito quindi questo è comunque la
12:28costruzione del migliore è per tutti per lm slm qualsiasi cosa contesto obiettivo vincoli e formato
12:36e formato esatto qua da tenere in mente che questa formula vale per i modelli large quindi ecco facciamo
12:44un esempio pratico esatto questo qua beh quello l'abbiamo già detto allora ecco prompt debole scrivi
12:50una mail per un cliente che non mi ha risposto e lì si arriva la mail classica le peggio cose
12:58scrivi
12:59una mail breve usa tono professionale ma caldo per un cliente che non risponde da due settimane
13:04obiettivo fissare una call massimo 10 righe il cliente xxx l'offerta inviata era xxx esatto qua l'ho fatta
13:10proprio
13:12anche questa comunque ha tutte le caratteristiche però è contenuta insomma non è che ci devi scrivere
13:17un poema per riuscire a raggiungere diciamo il prompt migliore sì ma anche se ad esempio a me io una
13:26cosa
13:26che uso spesso è dare il mio agente quello che avevi scritto prima la prima risposta l'offerta inviata
13:33ho capito allora vabbè tecniche ulide vale per chat e genti cosa evitare pronto vaghi incompleti domande
13:42senza contesto risposte senza fonti output critici non verificati delegare subito azioni importanti invece
13:47come costruire la richiesta dai contesto obiettivo chiedi fonti e documenti ecco questo è importante
13:52perché così io vedrei i fonti che mi la fonte da dove l'hai preso e io le date spesso
13:56chiedo perché voglio la data
13:58perché se mi tira fuori una notizia di un anno e mezzo fa rispetto a una cosa che gli avevo
14:02chiesto
14:02magari è quello importante e verifica prima da agire dal modello all'agente al volo che siamo in chiusura
14:10marcella ecco qua giustamente no per far diventare un agente quindi il modello in sé non fa un non fa
14:20un
14:20un agente quindi uno può utilizzare il modello più potente al mondo non avrà in mano un agente
14:25quindi serve alla gente che gli venga dato la memoria per messi strumenti e come si fa attraverso i
14:30framework come openclown o come hermes che sono i più famosi ma ci sono anche tanti altri
14:36ma tanto avremo modo di vederli tutti quindi va bene allora marcella la i non legge nel pensiero
14:44questa è importante da sottolineare perché non è che è collegato col vostro cervello ma gli dovete passare
14:50quello che avete in mente al almeno per ora almeno per ora perché a sapere l'era di cyber funk
14:59va bene
15:00marcella conti la nostra infarinatura generale però già dalla prossima volta entriamo un po più diciamo
15:08a gamba tesa nel mondo dei degli agenti con il nostro verticale ricordo i nostri telespettatori che possono
15:14ritrovare tutte le puntate nel nostro cluster ne abbiamo creato uno apposta age of agents sul sito
15:20videomilanofinanza.it e per il resto ci vediamo venerdì prossimo
15:24a venerdì
15:25marcella de andrade admin.ai grazie mille marcella
15:29terminiamo dunque qui il nostro approfondimento sugli agenti ai grazie a tutti per l'attenzione e rimanete come sempre su
15:34classe mbc
15:35grazie mille marcella
Commenti