Prompt-Engineering-Guide/pages/risks/biases.it.mdx

98 lines
3.3 KiB
Plaintext
Raw Normal View History

2023-04-13 20:38:37 +08:00
# Pregiudizi
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
Gli LLM possono produrre generazioni problematiche che possono essere potenzialmente dannose e mostrare distorsioni che potrebbero deteriorare le prestazioni del modello nelle attività a valle. Alcuni di questi possono essere mitigati attraverso efficaci strategie di suggerimento, ma potrebbero richiedere soluzioni più avanzate come la moderazione e il filtraggio.
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
### Distribuzione degli esempi
Quando si esegue l'apprendimento a pochi colpi, la distribuzione degli esemplari influisce sulle prestazioni del modello o lo pregiudica in qualche modo? Possiamo eseguire un semplice test qui.
2023-04-13 06:07:47 +08:00
*Prompt:*
```
2023-04-13 20:30:15 +08:00
D: Ho appena ricevuto la migliore notizia di sempre!
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Abbiamo appena ricevuto un aumento al lavoro!
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sono così orgoglioso di ciò che ho realizzato oggi.
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sto avendo il miglior giorno di sempre!
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Non vedo davvero l'ora che arrivi il fine settimana.
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Ho appena ricevuto il miglior regalo di sempre!
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sono così felice in questo momento.
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sono così felice di avere una famiglia così straordinaria.
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Il tempo fuori è così cupo.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Ho appena ricevuto una terribile notizia.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Mi ha lasciato un sapore amaro.
R:
2023-04-13 06:07:47 +08:00
```
*Output:*
```
2023-04-13 20:30:15 +08:00
Negativo
2023-04-13 06:07:47 +08:00
```
2023-04-13 20:30:15 +08:00
Nell'esempio sopra, sembra che la distribuzione degli esempi non generi un bias nel modello. Questo è buono. Proviamo un altro esempio con un testo più difficile da classificare e vediamo come funziona il modello:
2023-04-13 06:07:47 +08:00
*Prompt:*
```
2023-04-13 20:30:15 +08:00
D: il cibo qui è delizioso
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sono così stanco di questi corsi.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Non posso credere di non avere passato l'esame.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Ho passato una bella giornata oggi!
R: Positivo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Io odio questo lavoro.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Il servizio qui è terribile
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Sono così frustrato dalla mia vita
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Non ho mai una pausa.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Questo pasto ha un sapore terribile.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Non sopporto il mio capo.
R: Negativo
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
D: Provo qualcosa.
R:
2023-04-13 06:07:47 +08:00
```
*Output:*
```
2023-04-13 20:30:15 +08:00
Negativo
2023-04-13 06:07:47 +08:00
```
2023-04-13 20:30:15 +08:00
Sebbene l'ultima frase sia in qualche modo soggettiva, ho capovolto la distribuzione e invece ho usato 8 esempi positivi e 2 esempi negativi e poi ho provato di nuovo la stessa identica frase. Indovina cosa ha risposto il modello? Ha risposto "Positivo". Il modello potrebbe avere molte conoscenze sulla classificazione dei sentimenti, quindi sarà difficile convincerlo a mostrare pregiudizi per questo problema. Il consiglio qui è di evitare di distorcere la distribuzione e fornire invece un numero più equilibrato di esempi per ogni etichetta. Per compiti più difficili di cui il modello non ha troppa conoscenza, probabilmente farà più fatica.
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
### Ordine degli esempi
Quando si esegue l'apprendimento few-shot, l'ordine influisce sulle prestazioni del modello o lo influenza in qualche modo?
2023-04-13 06:07:47 +08:00
2023-04-13 20:30:15 +08:00
Puoi provare gli esempi precedenti e vedere se riesci a far sì che il modello sia orientato verso un'etichetta modificando l'ordine. Il consiglio è di ordinare a caso gli esemplari. Ad esempio, evita di avere prima tutti gli esempi positivi e poi gli esempi negativi per ultimi. Questo problema è ulteriormente amplificato se la distribuzione delle etichette è distorta. Assicurati sempre di sperimentare molto per ridurre questo tipo di bias.