From 8ee7604fc2b5539ffafff86ec9531dc44211e647 Mon Sep 17 00:00:00 2001 From: Dennis Date: Thu, 13 Apr 2023 01:12:31 +0900 Subject: [PATCH] Completed of draft translation of 'techniques' chapter. --- ko-pages/techniques/ape.mdx | 26 ++++++++ ko-pages/techniques/consistency.mdx | 77 ++++++++++++++++++++++ ko-pages/techniques/cot.mdx | 86 ++++++++++++------------- ko-pages/techniques/knowledge.mdx | 92 +++++++++++++++++++++++++++ ko-pages/techniques/multimodalcot.mdx | 15 +++++ ko-pages/techniques/zeroshot.mdx | 21 ++++++ 6 files changed, 274 insertions(+), 43 deletions(-) create mode 100644 ko-pages/techniques/ape.mdx create mode 100644 ko-pages/techniques/consistency.mdx create mode 100644 ko-pages/techniques/knowledge.mdx create mode 100644 ko-pages/techniques/multimodalcot.mdx create mode 100644 ko-pages/techniques/zeroshot.mdx diff --git a/ko-pages/techniques/ape.mdx b/ko-pages/techniques/ape.mdx new file mode 100644 index 0000000..5bc93d0 --- /dev/null +++ b/ko-pages/techniques/ape.mdx @@ -0,0 +1,26 @@ +# Automatic Prompt Engineer (APE) + +import { Callout, FileTree } from 'nextra-theme-docs' +import {Screenshot} from 'components/screenshot' +import APE from '../../img/APE.png' +import APECOT from '../../img/ape-zero-shot-cot.png' + + +Image Source: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910) + +[Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)은 명령의 자동 생성 및 선택을 위한 프레임워크인 자동 프롬프트 엔지니어(APE)를 제안합니다. 명령 생성 문제는 LLM을 사용하여 솔루션 후보를 생성하고 검색하는 블랙 박스 최적화 문제로 취급되는 자연어 합성으로 해결됩니다. + +첫 번째 단계에는 태스크 명령어 후보를 생성하기 위한 출력 데모가 제공되는 대규모 언어 모델(추론 모델)이 포함됩니다. 이러한 후보 솔루션은 검색 절차를 안내합니다. 명령은 대상 모델을 사용하여 수행되며 계산된 평가 점수에 따라 최적의 명령이 선택됩니다. + +APE는 사람이 설계한 "Let's think step by step" 프롬프트보다 더 우수한 zero-shot CoT 프롬프트(아래)를 찾아냈습니다. ([Kojima et al., 2022](https://arxiv.org/abs/2205.11916)). + +"Let's work this out in a step by step way to be sure we have the right answer."라는 프롬프트는 CoT 추론을 유도하여 MultiArith와 GSM8K의 벤치마크에서 성능을 향상시켰습니다: + + +Image Source: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910) + +이 논문에서는 프롬프트를 자동으로 최적화하는 아이디어인 프롬프트 엔지니어링과 관련된 중요한 주제를 다룹니다. 이 페이지에서는 이 주제에 대해 더 자세히 설명하지는 않고, 관련된 중요한 논문을 아래에 소개합니다: + +- [AutoPrompt](https://arxiv.org/abs/2010.15980) - 경사 유도 검색(gradient-guided search)을 기반으로 다양한 일련의 작업에 대한 프롬프트를 자동으로 만드는 방법을 제안. +- [Prefix Tuning](https://arxiv.org/abs/2101.00190) - NLG 문제에서 학습 가능한 연속 접두사를 앞에 붙이는 미세 튜닝에 대한 가벼운 대안 제시. +- [Prompt Tuning](https://arxiv.org/abs/2104.08691) - 역전파를 통해 소프트 프롬프트를 학습하는 매커니즘 제안. diff --git a/ko-pages/techniques/consistency.mdx b/ko-pages/techniques/consistency.mdx new file mode 100644 index 0000000..2aa8389 --- /dev/null +++ b/ko-pages/techniques/consistency.mdx @@ -0,0 +1,77 @@ +# Self-Consistency + +프롬프트 엔지니어링을 위한 더 진보된 기술 중 하나로 Self-Consistency가 있습니다. [Wang et al. (2022)](https://arxiv.org/pdf/2203.11171.pdf)에서 제안한 Self-Consistency는 "CoT 프롬프트에 사용되는 naive greedy 디코딩을 대체하는 것"을 목표로 합니다. 이 아이디어는 몇 번의 CoT를 통해 여러 가지 다양한 추론 경로를 샘플링하고, 여러 세대를 거쳐 가장 일관된 답을 선택하는 것입니다. 이는 산술 및 상식적인 추론이 필요한 작업에서 CoT 프롬프트의 성능을 향상시키는 데 도움이 됩니다. + +다음의 산술 추론에 대한 예제를 살펴봅시다: + +*Prompt:* +``` +제가 6살이었을 때 제 동생은 제 나이의 절반이었습니다. 지금 +저는 70살이고 여동생은 몇 살인가요? +``` + +*Output:* +``` +35 +``` + +결과가 틀렸습니다. Self-Consistency를 이용해 이 문제를 어떻게 개선할 수 있을까요? 한번 해봅시다. [Wang et al. 2022] 논문의 (Table 17) 예제를 이용할 겁니다: + +*Prompt:* +``` +질문: 숲에는 15그루의 나무가 있습니다. 숲의 일꾼들이 오늘 숲에 나무를 심을 것입니다. 나무 심기가 끝나면 +21그루의 나무가 있을 것입니다. 오늘 숲 일꾼들은 몇 그루의 나무를 심었나요? +답변: 15그루로 시작합니다. 나중에 나무가 21그루가 됩니다. 그 차이는 그들이 심은 나무의 수일 것입니다. +따라서 그들은 21 - 15 = 6그루의 나무를 심었어야 합니다. 정답은 6입니다. + +질문: 주차장에 3대의 차량이 있고 2대의 차량이 더 도착하면 주차장에 몇 대의 차량이 있나요? +답변: 주차장에 이미 3대의 차량이 있습니다. 2대가 더 도착합니다. 이제 3 + 2 = 5대의 차량이 있습니다. 정답은 5입니다. + +질문: 레아는 초콜릿을 32개, 여동생은 42개를 먹었습니다. 둘이 35개를 먹었다면 총 몇 개가 남았나요? +답변: 레아는 초콜릿 32개, 레아의 여동생은 42개를 먹었습니다. 즉, 원래 32개 + 42개 = 74개의 +초콜릿이 있었습니다. 35개를 먹었습니다. 따라서 총 74 - 35 = 39개의 초콜릿이 남아 있습니다. 정답은 39입니다. + +질문: 제이슨은 막대 사탕을 20개 먹었습니다. 그는 데니에게 막대 사탕을 주었습니다. 이제 제이슨은 막대사탕 12개를 가지고 있습니다. 제이슨은 데니에게 +몇 개의 막대 사탕을 데니에게 주었습니까? +답변: 제이슨은 막대 사탕 20개를 가지고 있었습니다. 이제 제이슨은 12개만 가지고 있으므로, 나머지는 데니에게 주었을 것입니다. 제이슨이 데니에게 준 막대사탕의 +20 - 12 = 8개의 막대 사탕을 데니에게 주었어야 합니다. 정답은 8개입니다. + +질문: 숀은 장난감이 다섯 개 있습니다. 크리스마스에 숀은 엄마와 아빠로부터 각각 두 개의 장난감을 받았습니다. 숀은 지금 몇 개의 장난감을 +숀은 지금 몇 개의 장난감을 가지고 있습니까? +답변: 숀은 장난감이 5개입니다. 엄마로부터 2개를 받았으므로 5 + 2 = 7개의 장난감을 가지고 있습니다. 그리고 아빠한테서 2개를 더 받았어요. +총 7 + 2 = 9 개의 장난감을 가지고 있습니다. 정답은 9입니다. + +질문: 서버실에는 9대의 컴퓨터가 있었습니다. 월요일부터 목요일까지 매일 5대의 컴퓨터가 더 설치되었습니다. +월요일부터 목요일까지. 현재 서버실에는 몇 대의 컴퓨터가 있나요? +답변: 월요일부터 목요일까지 4일간입니다. 매일 5대의 컴퓨터가 추가되었습니다. 즉, 총 4 * 5 = +20대의 컴퓨터가 추가되었습니다. 처음에는 9대의 컴퓨터가 있었으므로 이제 9 + 20 = 29대의 컴퓨터가 있습니다. +정답은 29입니다. + +질문: 마이클은 58개의 골프 공을 가지고 있었습니다. 화요일에 그는 23개의 골프 공을 잃었습니다. 수요일에 2개를 더 잃었습니다. 그가 수요일에 가지고 있던 +수요일이 끝났을 때 그가 가지고 있던 골프 공은 몇 개였습니까? +답변: 마이클은 처음에 58개의 공을 가지고 있었습니다. 화요일에 23개를 잃어버렸으므로 그 이후에는 58 - 23 = 35개의 공을 가지고 있습니다. On +수요일에 2개를 더 잃어버렸으므로 이제 35 - 2 = 33개의 공을 가지고 있습니다. 정답은 33입니다. + +질문: 올리비아는 23달러를 가지고 있습니다. 그녀는 각각 3달러에 베이글 5개를 샀습니다. 올리비아에게 남은 돈은 얼마입니까? +답변: 올리비아는 각각 3달러에 베이글 5개를 샀습니다. 이것은 그녀가 5달러를 썼다는 것을 의미합니다. + +질문: 제가 6살이었을 때 제 동생은 제 나이의 절반이었습니다. 지금 저는 70살인데 언니는 몇 살인가요? +답변: +``` + +*출력 1:* +``` +제가 6살이었을 때 누나는 제 나이의 절반이었으므로 3살이었어요. 이제 저는 70살이므로 누나는 70 - 3 = 67살입니다. 정답은 67입니다. +``` + +*출력 2:* +``` +화자가 6살이었을 때 누나는 화자의 절반 나이인 3살이었습니다. 이제 화자가 70살이 되었으므로 누나는 70 - 3 = 67살이 됩니다. 정답은 67입니다. +``` + +*출력 3:* +``` +내가 6살이었을 때 누나는 내 나이의 절반이었으므로 3살이고, 이제 나는 70살이므로 누나는 70/2 = 35살입니다. 정답은 35입니다. +``` + +최종 정답을 계산하는 데는 몇 가지 단계가 필요하지만(자세한 내용은 논문에서 확인), 간단하게 설명하기 위해 이미 다수의 정답이 나타나고 있으므로 이 정답이 최종 정답이 되는 것을 확인할 수 있습니다. \ No newline at end of file diff --git a/ko-pages/techniques/cot.mdx b/ko-pages/techniques/cot.mdx index a439b2a..613191c 100644 --- a/ko-pages/techniques/cot.mdx +++ b/ko-pages/techniques/cot.mdx @@ -11,48 +11,48 @@ import ZEROCOT from '../../img/zero-cot.png' Image Source: [Wei et al. (2022)](https://arxiv.org/abs/2201.11903) -[Wei et al. (2022)](https://arxiv.org/abs/2201.11903)에서 소개된 chain-of-thought (CoT) 프롬프트는 중간 추론 단계를 통해 복잡한 추론 능력을 가능하게 합니다. 이를 few-shot 프롬프트와 결합하면 답변하기 전에 추론이 필요한 복잡한 작업에 대해 더 나은 결과를 얻을 수 있습니다. +[Wei et al. (2022)](https://arxiv.org/abs/2201.11903)에서 소개된 생각의 사슬(CoT) 프롬프트는 중간 추론 단계를 통해 복잡한 추론을 가능하게 합니다. 이를 단답형 프롬프트와 결합하면 응답하기 전에 추론이 필요한 복잡한 작업에서 더 나은 결과를 얻을 수 있습니다. -*Prompt:* +*프롬프트:* ``` -이 집합 {4, 8, 9, 15, 12, 2, 1}의 홀수를 모두 더하면 짝수입니다. +집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수를 모두 더하면 짝수입니다. +답변: 홀수(9, 15, 1)를 모두 더하면 25가 됩니다. 위의 명제는 거짓입니다. + +집합 {17, 10, 19, 4, 8, 12, 24}에서 홀수를 모두 더하면 짝수입니다. +답변: 홀수(17, 19)를 모두 더하면 36이 됩니다. 위의 명제는 참입니다. + +집합 {16, 11, 14, 4, 8, 13, 24}에서 홀수를 모두 더하면 짝수입니다. +답변: 홀수(11, 13)를 모두 더하면 24가 됩니다. 위의 명제는 참입니다. + +집합 {17, 9, 10, 12, 13, 4, 2}에서 홀수를 모두 더하면 짝수입니다. +답변: 홀수(17, 9, 13)를 모두 더하면 39가 됩니다. 위의 명제는 거짓입니다. + +집합 {15, 32, 5, 13, 82, 7, 1}에서 홀수를 모두 더하면 짝수입니다. +답변: +``` + +*출력:* +``` +홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 위의 명제는 거짓입니다. +``` + +와우! 추론 단계를 추가했을 때 완벽한 결과를 볼 수 있습니다. 사실 더 적은 수의 예제, 즉 하나의 예제만 추가해도 이 과제를 해결할 수 있습니다: + +*프롬프트:* +``` +이 그룹의 홀수는 4, 8, 9, 15, 12, 2, 1과 같이 짝수로 합산됩니다. A: 홀수(9, 15, 1)를 모두 더하면 25가 됩니다. 정답은 거짓입니다. -이 집합 {17, 10, 19, 4, 8, 12, 24}의 홀수를 모두 더하면 짝수입니다. -답: 홀수(17, 19)를 모두 더하면 36이 됩니다. 정답은 참입니다. - -이 집합 {16, 11, 14, 4, 8, 13, 24}의 홀수를 모두 더하면 짝수입니다 -답: 홀수(11, 13)를 모두 더하면 24가 됩니다. 정답은 참입니다. - -이 집합 {17, 9, 10, 12, 13, 4, 2}의 홀수를 모두 더하면 짝수입니다. -A: 홀수(17, 9, 13)를 모두 더하면 39가 됩니다. 정답은 거짓입니다. - -이 집합 {15, 32, 5, 13, 82, 7, 1}의 홀수를 모두 더하면 짝수입니다. +이 그룹의 홀수는 15, 32, 5, 13, 82, 7, 1과 같이 짝수로 합산됩니다. A: ``` -*Output:* +*출력:* ``` -홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 정답은 거짓입니다. +홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 답은 False입니다. ``` -와우! 추론 단계를 추가했을 때 완벽한 결과를 볼 수 있습니다. 사실 더 적은 수의 예제, 즉 하나의 예제만 제공해도 이 문제를 해결할 수 있습니다: - -*Prompt:* -``` -이 집합 {4, 8, 9, 15, 12, 2, 1}의 홀수를 모두 더하면 짝수입니다. -A: 홀수(9, 15, 1)를 모두 더하면 25가 됩니다. 정답은 거짓입니다. - -이 집합 {15, 32, 5, 13, 82, 7, 1}의 홀수를 모두 더하면 짝수입니다. -A: -``` - -*Output:* -``` -홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 정답은 거짓입니다. -``` - -저자들은 이 기능이 충분히 큰 언어 모델에서 발생하는 새로운 능력이라고 주장한다는 점을 명심하세요. +논문의 저자들은 위와 같은 결과가 충분히 큰 LLM에서만 발생하는 특성이라고 주장한다는 점을 명심하세요. ## Zero-shot COT Prompting @@ -60,33 +60,33 @@ A: Image Source: [Kojima et al. (2022)](https://arxiv.org/abs/2205.11916) -최근에 나온 아이디어 중 하나는 원래의 프롬프트에 "단계별로 생각하자"를 추가하는 [zero-shot CoT](https://arxiv.org/abs/2205.11916) (Kojima et al. 2022)의 아이디어 입니다. 간단한 문제를 풀고 모델이 어떻게 작동하는지 살펴봅시다: +최근에 나온 아이디어 중 하나로 zero-shot CoT가 있습니다. [zero-shot CoT](https://arxiv.org/abs/2205.11916) (Kojima et al. 2022) 원래의 프롬프트에 "단계적으로 생각하자"를 추가하는 것이 핵심입니다. 간단한 문제를 풀고 모델이 어떻게 작동하는지 살펴봅시다: -*Prompt:* +*프롬프트:* ``` -저는 시장에 가서 사과 10개를 샀습니다. 저는 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 가서 사과 5개를 더 사서 1개를 먹었습니다. 저는 몇 개의 사과를 가지고 있었나요? +저는 시장에 가서 사과 10개를 샀습니다. 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 사과 5개를 더 사서 1개는 제가 먹었습니다. 저는 몇 개의 사과를 가지고 있었나요? ``` -*Output:* +*출력:* ``` -11개 +사과 11개 ``` -정답이 틀렸습니다! 이제 특별 프롬프트로 시도해 봅시다. +정답이 틀렸습니다! 위에서 제안한 프롬프트로 시도해 보겠습니다. -*Prompt:* +*프롬프트:* ``` -저는 시장에 가서 사과 10개를 샀습니다. 저는 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 가서 사과 5개를 더 사서 1개를 먹었습니다. 사과가 몇 개나 남았나요? +저는 시장에 가서 사과 10개를 샀습니다. 저는 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 사과 5개를 더 사서 1개는 제가 먹었습니다. 사과가 몇 개나 남았나요? 차근차근 생각해 봅시다. ``` -*Output:* +*출력:* ``` 먼저 사과 10개로 시작했습니다. -이웃에게 2개, 수리공에게 2개를 나눠주었으므로 사과가 6개가 남았습니다. +이웃에게 2개, 수리공에게 2개를 나누어 주었으므로 사과가 6개가 남았습니다. 그런 다음 사과 5개를 더 사서 이제 사과가 11개가 되었습니다. 마지막으로 사과 1개를 먹었으므로 사과 10개가 남게 됩니다. ``` -이 간단한 프롬프트("차근차근 생각해 봅시다.")가 이 문제를 해결하는데 효과적이라는 점이 인상적입니다. 프롬프트에 사용할 예제가 많지 않은 경우 특히 유용합니다. \ No newline at end of file +이 간단한 프롬프트가 위와 같은 문제에 효과적이라는 점이 인상적입니다. 프롬프트에 사용할 예제가 너무 많지 않을 때 특히 유용합니다. \ No newline at end of file diff --git a/ko-pages/techniques/knowledge.mdx b/ko-pages/techniques/knowledge.mdx new file mode 100644 index 0000000..d6de598 --- /dev/null +++ b/ko-pages/techniques/knowledge.mdx @@ -0,0 +1,92 @@ +# Generated Knowledge Prompting + +import {Screenshot} from 'components/screenshot' +import GENKNOW from '../../img/gen-knowledge.png' + + + +Image Source: [Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf) + +LLM은 계속해서 개선되고 있으며, 인기 있는 기법 중 하나로 모델이 더 정확한 예측을 할 수 있도록 지식이나 정보를 통합하는 방법이 있습니다. + +비슷한 아이디어를 사용하여 예측을 하기 전에 지식을 생성하는 데에도 모델을 사용할 수 있을까요? 이것이 바로 [Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf) -- 의 논문에서 시도한 것, 즉 프롬프트의 일부로 사용할 지식을 생성하는 것입니다. 특히 상식적인 추론과 같은 작업에 얼마나 도움이 될까요? + +간단한 예제 프롬프트를 살펴보겠습니다: + +*프롬프트:* +``` +골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다. 예, 아니오? +``` + +*출력:* +``` +예. +``` + +이러한 유형의 실수는 세상에 대한 더 많은 지식이 필요한 작업을 수행하는 데 있어 LLM의 한계를 드러냅니다. 지식 생성을 통해 이 문제를 어떻게 개선할 수 있을까요? + +먼저 몇 가지 "지식"을 생성합니다: + +*프롬프트:* +``` +입력: 그리스는 멕시코보다 큽니다. +지식: 그리스는 약 131,957 평방 킬로미터이고, 멕시코는 약 1,964,375 평방 킬로미터로 멕시코가 그리스보다 1,389% 더 큽니다. + +입력: 안경은 항상 김이 서립니다. +지식: 안경 렌즈에는 땀, 호흡 및 주변 습도에서 나오는 수증기가 차가운 표면에 닿아 식은 다음 작은 액체 방울로 변하여 안개처럼 보이는 막을 형성할 때 응결이 발생합니다. 특히 외부 공기가 차가울 때는 호흡에 비해 렌즈가 상대적으로 차가워집니다. + +입력: 물고기는 생각할 수 있습니다. +지식: 물고기는 보기보다 훨씬 더 똑똑합니다. 기억력과 같은 많은 영역에서 물고기의 인지 능력은 인간이 아닌 영장류를 포함한 '고등' 척추동물과 비슷하거나 그 이상입니다. 물고기의 장기 기억력은 복잡한 사회적 관계를 추적하는 데 도움이 됩니다. + +입력: 평생 담배를 많이 피우면 폐암에 걸릴 확률이 정상보다 높다는 것은 일반적인 결과입니다. +지식: 평생 동안 하루 평균 담배를 한 개비 미만으로 꾸준히 피운 사람은 비흡연자보다 폐암으로 사망할 위험이 9배 높았습니다. 하루에 한 개비에서 열 개비 사이의 담배를 피운 사람들은 폐암으로 사망할 위험이 비흡연자보다 거의 12배 높았습니다. + +입력: 돌은 조약돌과 같은 크기입니다. +지식: 조약돌은 퇴적학의 우든-웬트워스 척도에 따라 입자 크기가 4~64밀리미터인 암석 덩어리입니다. 자갈은 일반적으로 과립(직경 2~4밀리미터)보다는 크고 자갈(직경 64~256밀리미터)보다는 작은 것으로 간주됩니다. + +입력: 골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다. +지식: +``` + +*지식 1:* +``` +골프의 목적은 최소의 스트로크로 전체 홀을 플레이하는 것입니다. 골프 라운드는 일반적으로 18홀로 구성됩니다. 각 홀은 표준 골프 코스에서 라운드 중 한 번씩 플레이됩니다. 각 스트로크는 1점으로 계산되며 총 스트로크 수를 사용하여 게임의 승자를 결정합니다. +``` + +*지식 2:* +``` +골프는 경쟁하는 선수(또는 골퍼)가 여러 종류의 클럽을 사용하여 가장 적은 수의 스트로크로 코스에 있는 전체 홀에 공을 치는 정밀한 클럽 앤 볼 스포츠입니다. 목표는 각 홀에서 기록한 총 타수를 합산하여 계산되는 최저 점수로 코스를 완주하는 것입니다. 가장 낮은 점수를 기록한 플레이어가 게임에서 승리합니다. +``` + +[Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)의 논문에서 제공한 프롬프트를 사용하고 있습니다. + +다음 단계는 지식을 통합하고 예측을 얻는 것입니다. 답변 형식을 안내하기 위해 질문을 QA 형식으로 재구성했습니다. + +*프롬프트:* +``` +질문: 골프의 목적중 하나는 다른 사람보다 더 높은 총점을 얻기 위해 노력하는 것입니다. 예, 아니오? + +지식: 골프의 목적은 최소의 스트로크로 전체 홀을 플레이하는 것입니다. 골프 라운드는 일반적으로 18홀로 구성됩니다. 각 홀은 표준 골프 코스에서 라운드 중 한 번씩 플레이됩니다. 각 스트로크는 1점으로 계산되며 총 스트로크 수를 사용하여 게임의 승자를 결정합니다. + +설명하고 답하십시오: +``` + +*정답 1(매우 높은 신뢰도):* +``` +아니요, 골프의 목적은 다른 사람보다 더 높은 점수를 얻는 것이 아닙니다. 오히려 가장 적은 수의 스트로크로 전체 홀을 플레이하는 것이 목표입니다. 총 스트로크 수는 총 점수가 아니라 게임의 승자를 결정하는 데 사용됩니다. +``` + +``` +질문: 골프의 목적중 하나는 다른 사람보다 더 높은 총점을 얻기 위해 노력하는 것입니다. 예, 아니오? + +지식: 골프는 경쟁하는 선수(또는 골퍼)가 여러 종류의 클럽을 사용하여 가장 적은 수의 스트로크로 코스에 있는 전체 홀에 공을 치는 정밀한 클럽 앤 볼 스포츠입니다. 목표는 각 홀에서 기록한 총 타수를 합산하여 계산되는 최저 점수로 코스를 완주하는 것입니다. 가장 낮은 점수를 기록한 플레이어가 게임에서 승리합니다. + +설명하고 답하세요: +``` + +*정답 2(낮은 신뢰도)* +``` +예, 골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다. 각 플레이어는 각 홀에서 기록한 총 타수를 합산하여 계산되는 가장 낮은 점수로 코스를 완주하려고 합니다. 가장 낮은 점수를 얻은 플레이어가 게임에서 승리합니다. +``` + +이 예제는 정말 흥미로운 결과를 보여줍니다. 첫 번째 답변에서는 모델이 매우 신뢰도가 높았지만, 두 번째 답변에서는 그렇지 않았습니다. 데모 목적으로 프로세스를 단순화했지만 최종 정답에 도달할 때 고려해야 할 몇 가지 세부 사항이 더 있습니다. 자세한 내용은 논문을 참조하세요. diff --git a/ko-pages/techniques/multimodalcot.mdx b/ko-pages/techniques/multimodalcot.mdx new file mode 100644 index 0000000..1d64082 --- /dev/null +++ b/ko-pages/techniques/multimodalcot.mdx @@ -0,0 +1,15 @@ +# Multimodal CoT Prompting + +import { Callout, FileTree } from 'nextra-theme-docs' +import {Screenshot} from 'components/screenshot' +import MCOT from '../../img/multimodal-cot.png' + +[Zhang et al. (2023)](https://arxiv.org/abs/2302.00923)은 최근 멀티모달 CoT 프롬프트 접근 방식을 제안했습니다. 기존의 CoT는 언어 양식에 중점을 둡니다. 반면, 멀티모달 CoT는 텍스트와 이미지를 2단계 프레임워크에 통합합니다. 첫 번째 단계에서는 멀티모달 정보를 기반으로 근거를 생성합니다. 그 다음에는 두 번째 단계인 답변 추론이 이어지며, 이 단계에서는 생성된 정보를 활용하여 답변을 도출합니다. + +멀티모달 CoT 모델(1B)은 ScienceQA 벤치마크에서 GPT-3.5보다 성능이 뛰어났습니다. + + +Image Source: [Zhang et al. (2023)](https://arxiv.org/abs/2302.00923) + +더 읽어볼 것: +- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023) \ No newline at end of file diff --git a/ko-pages/techniques/zeroshot.mdx b/ko-pages/techniques/zeroshot.mdx new file mode 100644 index 0000000..75842c7 --- /dev/null +++ b/ko-pages/techniques/zeroshot.mdx @@ -0,0 +1,21 @@ +# Zero-Shot Prompting +대량의 데이터를 학습하고 지침을 따르도록 튜닝된 오늘날의 머신러닝은 zero-shot으로 작업을 수행할 수 있습니다. 이전 장에서 몇 가지 zero-shot 예제를 시도해 보았습니다. 다음은 우리가 사용한 예제 중 하나입니다: + +*프롬프트:* +``` +텍스트를 중립, 부정 또는 긍정으로 분류합니다. + +텍스트: 휴가는 괜찮을 것 같아요. +감정: +``` + +*출력:* +``` +중립 +``` + +위의 프롬프트에서는 모델에 예제를 제공하지 않았습니다. 이는 zero-shot으로 동작된 것을 알 수 있습니다. + +명령어 튜닝(Instruction tuning)은 zero-shot 학습을 개선한다고 다음의 논문에서 보고되었습니다. [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). 명령어 튜닝은 본질적으로 명령어를 통해 설명된 데이터 세트에 대한 모델을 미세 조정하는 개념입니다. 또한, [RLHF](https://arxiv.org/abs/1706.03741) (사람의 피드백을 통한 강화 학습)는 모델이 사람이 원하는 결과에 더 잘 맞도록 조정되는 명령어 튜닝을 확장하는 데 사용되었습니다. 이러한 개발 방식은 ChatGPT와 같은 모델에서 사용되었습니다. 다음 장에서 이러한 모든 접근 방식과 방법에 대해 설명하겠습니다. + +zero-shot이 동작하지 않는 경우에는 프롬프트에 데모나 예시를 제공하여 few-shot으로 프롬프트를 유도하는 것이 좋습니다. 다음 장에서는 zero-shot 프롬프트에 대한 데모를 보여드리겠습니다. \ No newline at end of file