chatGPT Archives - JIN's BOT

chatGPT 한계점과 대체재에 대해

geniuskpj — Fri, 17 Feb 2023 09:33:30 +0000

chatGPT 는 궁극의 AI?

이전글에서 chatGPT 와 동일한 GPT 3.5의

python api에 대해 알아봤다.

분명 유용한 툴이지만 세상을 바꿀 정도일까?

chatGPT 의 단점에 대해 알아보자.

최적의 답변이 아니다.

GPT에는 별도의 지능이 없기때문에

학습된 데이터가 옳은지 틀린지 얼마나 좋은지 평가할 수 없다.

따라서 학습 시킨 데이터의 질에 따라

답변의 질도 결정된다.

또한, 내용을 조합하여 답변하기 때문에

이 과정에서 오류가 섞여 들어갈 수 있다.

특히, 코딩 측면에서 이런 점이 두드러진다.

chatGPT 가 제공해 주는 코드, 예제는

분명 유용하지만 수준이 높지 않다.

이러한 불완전성은 기술적 특성이자 한계이고

애초에 노코드 , 로우코드 솔루션의 목적은 다음과 같다.

초보자의 손쉬운 사용
단순 반복 코드의 작성 시간 단축

따라서 chatGPT 가 현업 프로그래머를 대체할 수는 없다.

최적의 코드를 제공하지 못하는게 당연하고

이에 대해 불평한다면 기술의 목적,용도를

잘못 이해한 것이다.

애초에 목적

현업 프로그래머를 대체하는

애초에 chatGPT 나 copilot의 목적은

프로그래머를 대체하는 것이 아니다.

추가적인 학습이 어렵다.

chatGPT 의 잘못된 응답에 지적을 할 경우

사람처럼 오류를 인정하고 내용을 정정한다.

실시간 학습이 이루어진다고 착각할 수 있지만

상황에 맞게 반응하는 것일 뿐이다.

좋은 내용을 선별하여 학습 된다고 하지만

언제 어떤 방식으로 이루어지는지 알려진 바 없다.

물론 chatGPT 도 추가 학습을 위한 api 를 공개하겠지만

생각보다 비용이 비쌀 것이다.

현재 같은 GPT3.5 인 Davinci 의 추가학습 모델은

사용시 1k token(750단어)당 0.12불의 비용을 지불해야한다. (23년 2월)

개인에게 부담되는 가격은 아니지만 사용자가 수십명만 되어도

상당한 비용이 발생할 것이다.

저작권 및 기밀정보 문제

공개적으로 코드, 정보를 올린거지만

출처표기 없는 상업적 사용을 달가워할 사람은 없다.

그런 면에서 구글의 바드 는 정보의 출처를

표기할 것이라고 한다.

현재 GPT3.5 모델은 openai를 통해서만 학습 시킬 수 있는데

기업의 경우 기밀 정보 유출에 대한 우려가 있다.

따라서 삼성전자 는 정보 유출을 막기 위해

chatGPT 의 접속을 차단했다.

당연히, 별도 학습된 모델은 특정 계정, 회사에서만

접근할 수 있을 것이다.

그렇더라도 기업입장에서 서버를 외부에 두는것은 큰 부담이다.

chatGPT 대체재

그러면 local 등 에서 사용할 수 있는 chatGPT의 대안들을 알아보자.

모델이름 뒤에 있는 숫자는 parameter의 개수를 나타내며

일반적으로 높을수록 성능이 더 좋은 대신 고사양을 요구한다.

GPT-J 6B

eleutherAI에서 Ben Wang의 JAX를 기반으로 Pile 이라는 데이터셋으로 만든 모델이다.

자체적인 평가 결과 GPT3 Curie와 유사한 성능을 가진 것으로 보인다.

자세한 설명은 huggingface에서 볼 수 있고 간단한 체험도 해볼 수 있다.

최소 12GB의 VRAM이 필요하다.

low vram 버전도 있지만 성능 손실이 존재한다.

GPT-NEOX 20B

eleutherAI 의 최신 모델로 전작 GPT-NEO를 계승하고 있다.

자체 평가에 따르면 Curie보다는 좋지만

GPT3.5 모델인 Davinci에 미치지는 못한다.

textsynth, eleutherAI에서 테스트해볼 수 있다.

최소 40GB의 vram이 필요하기때문에 여기서부터는

A40, A100, RTX A6000 이상이 필요하다.
A100(40G)의 경우 미국 온디맨드 기준 AWS가 시간당 4.1$

GCP가 시간당 3.67$이므로 클라우드에서 구현하는걸 추천한다.

azure 등 더 저렴한 곳도 있으니 자세한 가격은 이 링크를 참고하라.

Task	Category	Curie	GPT-J-6B	FairSeq-13B	GPT-NeoX-20B	DaVinci
LAMBADA	Sentence Completion	69.51%	68.29%	70.95%	72.00%	75.16%
ANLI R1	Natural Language Inference	32.80%	32.40%	34.00%	34.00%	36.30%
ANLI R2	Natural Language Inference	33.50%	34.00%	33.00%	34.40%	37.00%
ANLI R3	Natural Language Inference	35.50%	35.50%	34.75%	35.40%	36.83%
WSC	Coreference Resolution	49.54%	49.54%	55.44%	50.00%	59.18%
WinoGrande	Coreference Resolution	64.56%	64.01%	67.40%	66.10%	69.93%
HellaSwag	Sentence Completion	54.81%	36.53%	57.69%	53.50%	63.46%
Average		48.60%	45.75%	50.43%	49.34%	53.98%

EleutherAI 평가 결과(standard language modeling tasks)

OPT-175B : chatGPT 에 가장 근접

meta ( facebook) 에서 공개한 모델로 GPT3.5와

동일한 parameter 갯수를 가진다.

현재 API를 완전히 공개하였으며 비상업용, 연구적 목적에

한하여 자유롭게 사용할 수 있다.

링크에서 체험해 볼 수 있으며 데이터셋, 알고리즘의

차이때문인지 davinci 보다는 성능이 떨어진다.(논문)

클러스터 구성을 지원하며 총 350GB의 VRAM이 필요하고

최대 700GB의 RAM이 필요하다.

The post chatGPT 한계점과 대체재에 대해 appeared first on JIN's BOT.

GPT-3.5 python에서 사용하기

geniuskpj — Tue, 07 Feb 2023 09:27:43 +0000

GPT-3 는 OpenAI 가 개발한 대형 언어 모델 (Large Language Model, LLM )이다.

12Billion (120억)개의 paramter를 가지는것이 특징이고

Github Copiliot에 사용되어 유명해졌다.

최근 각광받는 chatGPT 가 GPT-3.5 에 해당하며

무려 170B( 1700억) 개의 parmeter를 가진다.

chatGPT는 23년 2월 기준 아직 python api 가 공개되지 않았지만

같은 GPT-3.5에 속하는 davinci 모델은 python에서 사용 가능하다.

text-davinci-003 는 21년 4분기까지의 데이터로 학습되었기 때문에

chatGPT 에 비해 약간 떨어지지만 충분히 훌륭한 성능을 보여준다.

그래서 사용법은?

이 링크에서 회원가입이 가능하고 문서도 잘 만들어져 있다.

openai 패키지 사용법은 해당 문서에 잘 나와 있으니

패키지 없이 사용하는 법을 설명하겠다.

우선 가입 후 링크에 들어가 api-key를 발급받는다.

api 키만 있으면 코드는 정말 간단하다.

import requests
import json
headers={"Authorization":"Bearer 발급받은API키","Content-Type":"application/json"}
link="https://api.openai.com/v1/completions"
data={"model": "text-davinci-003", "prompt": "let me know how to cook scones ", "temperature": 0.9, "max_tokens": 300}
res=requests.post(link,data=json.dumps(data),headers=headers)
print(res.json()['choices'][0]['text'])

input에 대해 설명하자면 다음과 같다.

link:질문에 해당하는 링크이며 image 생성 등에는 다른 링크가 필요하다.
prompt: 질문이나 요청을 적으면 된다.
temperature: 높을수록 창의적이지만 부정확한 답이 출력될 수 있다. (기본값:1)
top_p: 방법은 다르지만 temperature와 같은 역할, temperature와 top_p 둘 중 하나만 사용 (기본값:1)
max_tokens: 답변 문장의 최대 길이를 결정함
이외는 링크 참조바람

GPT 3.5 사용결과

상식

질문
: let me know how to cook scones.

Ingredients

3 cups all-purpose flour
1 tablespoon baking powder
1/2 teaspoon salt
3/4 cup butter, melted
2 eggs
1/2 cup milk
1/2 cup sugar

Directions

Preheat oven to 400 degrees F (200 degrees C). Grease a baking sheet.
In a large bowl, sift together flour, baking powder and salt.
In a separate bowl, stir together melted butter, eggs and milk.
Make a well in the center of the flour mixture, and pour in the wet ingredients.
Stir together until a soft dough forms. Stir in sugar.
Roll out dough on a lightly floured surface, and cut into desired shapes (e.g. circles or wedges).
Place on prepared baking sheet, and bake for 10 to 12 minutes. Remove from oven, and cool. Serve warm.

굽는 시간, 재료의 양에 차이가 있지만 충분히 조리 가능한 레시피이며

chatGPT로부터 받은 답변도 대동소이 했다.

코딩

질문: suggest me top 5 alternatives of pyqt.

GTK+
wxPython
Kivy
Tkinter
PySide

사용가능한 라이브러리들을 잘 보여준다.

ChatGPT 에 물어보면 부연설명을 넣어주지만 pyside가 빠지는 점이 아쉽다.

질문: What ’s the difference between pyside and pyqt

PySide and PyQt are both Python bindings for the popular Qt cross-platform application and UI framework. The main difference between the two is that PySide is free and open source, while PyQt is proprietary and subject to a commercial license. PySide also has a more liberal license than PyQt, which allows developers to use it for both open source and commercial projects. PySide also has a more modern API, which makes it easier to use than PyQt.

마지막에 엉뚱한 말이 붙었지만 전반적으로 핵심을 잘 파악한 훌륭한 답변이다.

chatGPT가 community 규모에 대해 좀 더 정확한 정보를 덧붙였다.

질문: can you give me streamlit example for python? It ’s for drawing graph

import streamlit as st
import matplotlib.pyplot as plt

#Create some data

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

#Create the plot

plt.plot(x, y)

#Add the plot to the Streamlit app

st.pyplot()

pyplot의 argument가 빠졌다는 warning이 뜨지만 잘 plot 된다.

chatGPT 의 답변에는 무의미한 코드가 한줄 있지만 좀 더 상세했다.