chatGPT 는 궁극의 AI?
이전글에서 chatGPT 와 동일한 GPT 3.5의
python api에 대해 알아봤다.
분명 유용한 툴이지만 세상을 바꿀 정도일까?
chatGPT 의 단점에 대해 알아보자.
최적의 답변이 아니다.
GPT에는 별도의 지능이 없기때문에
학습된 데이터가 옳은지 틀린지 얼마나 좋은지 평가할 수 없다.
따라서 학습 시킨 데이터의 질에 따라
답변의 질도 결정된다.
또한, 내용을 조합하여 답변하기 때문에
이 과정에서 오류가 섞여 들어갈 수 있다.
특히, 코딩 측면에서 이런 점이 두드러진다.
chatGPT 가 제공해 주는 코드, 예제는
분명 유용하지만 수준이 높지 않다.
이러한 불완전성은 기술적 특성이자 한계이고
애초에 노코드 , 로우코드 솔루션의 목적은 다음과 같다.
- 초보자의 손쉬운 사용
- 단순 반복 코드의 작성 시간 단축
따라서 chatGPT 가 현업 프로그래머를 대체할 수는 없다.
최적의 코드를 제공하지 못하는게 당연하고
이에 대해 불평한다면 기술의 목적,용도를
잘못 이해한 것이다.
애초에 목적
현업 프로그래머를 대체하는
애초에 chatGPT 나 copilot의 목적은
프로그래머를 대체하는 것이 아니다.
추가적인 학습이 어렵다.
chatGPT 의 잘못된 응답에 지적을 할 경우
사람처럼 오류를 인정하고 내용을 정정한다.
실시간 학습이 이루어진다고 착각할 수 있지만
상황에 맞게 반응하는 것일 뿐이다.
좋은 내용을 선별하여 학습 된다고 하지만
언제 어떤 방식으로 이루어지는지 알려진 바 없다.
물론 chatGPT 도 추가 학습을 위한 api 를 공개하겠지만
생각보다 비용이 비쌀 것이다.
현재 같은 GPT3.5 인 Davinci 의 추가학습 모델은
사용시 1k token(750단어)당 0.12불의 비용을 지불해야한다. (23년 2월)
개인에게 부담되는 가격은 아니지만 사용자가 수십명만 되어도
상당한 비용이 발생할 것이다.
저작권 및 기밀정보 문제
공개적으로 코드, 정보를 올린거지만
출처표기 없는 상업적 사용을 달가워할 사람은 없다.
그런 면에서 구글의 바드 는 정보의 출처를
표기할 것이라고 한다.
현재 GPT3.5 모델은 openai를 통해서만 학습 시킬 수 있는데
기업의 경우 기밀 정보 유출에 대한 우려가 있다.
따라서 삼성전자 는 정보 유출을 막기 위해
chatGPT 의 접속을 차단했다.
당연히, 별도 학습된 모델은 특정 계정, 회사에서만
접근할 수 있을 것이다.
그렇더라도 기업입장에서 서버를 외부에 두는것은 큰 부담이다.
chatGPT 대체재
그러면 local 등 에서 사용할 수 있는 chatGPT의 대안들을 알아보자.
모델이름 뒤에 있는 숫자는 parameter의 개수를 나타내며
일반적으로 높을수록 성능이 더 좋은 대신 고사양을 요구한다.
GPT-J 6B
eleutherAI에서 Ben Wang의 JAX를 기반으로 Pile 이라는 데이터셋으로 만든 모델이다.
자체적인 평가 결과 GPT3 Curie와 유사한 성능을 가진 것으로 보인다.
자세한 설명은 huggingface에서 볼 수 있고 간단한 체험도 해볼 수 있다.
최소 12GB의 VRAM이 필요하다.
low vram 버전도 있지만 성능 손실이 존재한다.
GPT-NEOX 20B
eleutherAI 의 최신 모델로 전작 GPT-NEO를 계승하고 있다.
자체 평가에 따르면 Curie보다는 좋지만
GPT3.5 모델인 Davinci에 미치지는 못한다.
textsynth, eleutherAI에서 테스트해볼 수 있다.
최소 40GB의 vram이 필요하기때문에 여기서부터는
A40, A100, RTX A6000 이상이 필요하다.
A100(40G)의 경우 미국 온디맨드 기준 AWS가 시간당 4.1$
GCP가 시간당 3.67$이므로 클라우드에서 구현하는걸 추천한다.
azure 등 더 저렴한 곳도 있으니 자세한 가격은 이 링크를 참고하라.
| Task | Category | Curie | GPT-J-6B | FairSeq-13B | GPT-NeoX-20B | DaVinci |
|---|---|---|---|---|---|---|
| LAMBADA | Sentence Completion | 69.51% | 68.29% | 70.95% | 72.00% | 75.16% |
| ANLI R1 | Natural Language Inference | 32.80% | 32.40% | 34.00% | 34.00% | 36.30% |
| ANLI R2 | Natural Language Inference | 33.50% | 34.00% | 33.00% | 34.40% | 37.00% |
| ANLI R3 | Natural Language Inference | 35.50% | 35.50% | 34.75% | 35.40% | 36.83% |
| WSC | Coreference Resolution | 49.54% | 49.54% | 55.44% | 50.00% | 59.18% |
| WinoGrande | Coreference Resolution | 64.56% | 64.01% | 67.40% | 66.10% | 69.93% |
| HellaSwag | Sentence Completion | 54.81% | 36.53% | 57.69% | 53.50% | 63.46% |
| Average | 48.60% | 45.75% | 50.43% | 49.34% | 53.98% |
OPT-175B : chatGPT 에 가장 근접
meta ( facebook) 에서 공개한 모델로 GPT3.5와
동일한 parameter 갯수를 가진다.
현재 API를 완전히 공개하였으며 비상업용, 연구적 목적에
한하여 자유롭게 사용할 수 있다.
링크에서 체험해 볼 수 있으며 데이터셋, 알고리즘의
차이때문인지 davinci 보다는 성능이 떨어진다.(논문)
클러스터 구성을 지원하며 총 350GB의 VRAM이 필요하고
최대 700GB의 RAM이 필요하다.
관련글
