Prompt-Engineering-Guide/pages/risks/biases.jp.mdx

97 lines
4.0 KiB
Plaintext
Raw Normal View History

# バイアス
LLMは、問題のある生成物を作成し、下流タスクのモデルの性能を低下させる可能性があるバイアスを表示し、そのいくつかは効果的なプロンプト戦略によって緩和できますが、モデレーションやフィルタリングなどのより高度なソリューションが必要な場合があります。
### サンプルの分布
few-shot学習を実行する場合、サンプルの分布はモデルのパフォーマンスに影響を与えたり、モデルにバイアスをかけたりするのでしょうか ここでは、簡単なテストを行うことができます。
*プロンプト:*
```
Q私は今までで最高のニュースを聞きました
Aポジティブ
Q仕事で昇給しました
Aポジティブ
Q私が今日達成したことにとても誇りに思っています。
Aポジティブ
Q今日は最高の日です
Aポジティブ
Q週末をとても楽しみにしています。
Aポジティブ
Q私は今までで最高のプレゼントをもらいました
Aポジティブ
Q今とても幸せです。
Aポジティブ
Q私はこんなに素晴らしい家族を持っていて幸せです。
Aポジティブ
Q外の天気はとても陰気です。
Aネガティブ
Q私はとても悪いニュースを聞きました。
Aネガティブ
Qそれは酸っぱい味がしました。
A
```
*出力:*
```
ネガティブ
```
上記の例では、サンプルの分布はモデルにバイアスをかけないようです。これは良いことです。より分類が難しいテキストで別の例を試して、モデルがどのように機能するかを見てみましょう。
*プロンプト:*
```
Qここの食べ物は美味しいです
Aポジティブ
Qこのコースワークにはもう疲れました。
Aネガティブ
Q試験に落ちたことを信じられません。
Aネガティブ
Q今日は素晴らしい日でした
Aポジティブ
Qこの仕事が嫌いです。
Aネガティブ
Qここのサービスはひどいです。
Aネガティブ
Q人生にフラストレーションを感じています。
Aネガティブ
Q一休みできないのが悩みです。
Aネガティブ
Qこの食事はまずいです。
Aネガティブ
Q上司が大嫌いです。
Aネガティブ
Q私は何かを感じています。
A
```
*出力:*
```
ネガティブ
```
最後の文は主観的なものになりますが、私は分布を反転させ、代わりに8つのポジティブな例と2つのネガティブな例を使用して、同じ正確な文を再度試みました。すると、モデルは「ポジティブ」と反応しました。モデルは感情分類について多くの知識を持っている可能性があるため、この問題にバイアスをかけるのは困難です。ここでのアドバイスは、分布を歪めるのではなく、各ラベルのよりバランスの取れた数の例を提供することです。モデルがあまり知識を持っていないより難しいタスクでは、より苦戦する可能性が高いでしょう。
### サンプルの順序
few-shot学習を実行する場合、順序はモデルのパフォーマンスに影響を与えたり、モデルにバイアスをかけたりするのでしょうか
上記のサンプルを試して、順序を変更することでモデルをラベルに偏らせることができるかどうかを確認できます。アドバイスは、サンプルをランダムに並べ替えることです。たとえば、最初にすべてのポジティブな例を、最後にすべてのネガティブな例を持つことを避けます。ラベルの分布が歪んでいる場合、この問題はさらに深刻になります。この種のバイアスを減らすために、多くの実験を行うように常に注意してください。