그리고 ChatGPT 의 모델인 GPT3.5 Turbo 가 드디어 공개되었다.

이에 따라 변경된 python 사용법, 특징에 대해 소개하겠다.

GPT3.5 Turbo python 코드

openai 패키지를 설치하거나 업데이트 후에

다음과 같이 사용한다.

import openai
openai.api_key ="발급받은 API키"
completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo", 
  messages=[{"role": "user", "content": "Tell the world about the ChatGPT API in the style of a pirate."}]
)
print(completion)

기존 Completion 에서 ChatCompletion 으로 바뀌었고

model이 gpt-3.5-turbo 로 바뀌었다.

마지막으로 prompt 가 messages로 바뀌었고

role이라는 인자가 추가되었다.

자세한 내용은 custom API 로 추가 설명하겠다.

import requests
import json
headers={"Authorization":"Bearer 발급키","Content-Type":"application/json"}
link="https://api.openai.com/v1/chat/completions"
messages=[        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Who won the world series in 2020?"},
        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
        {"role": "user", "content": "Where was it played?"}]
data={"model": "gpt-3.5-turbo", "messages": messages, "temperature": 0.2, "max_tokens": 300}
res=requests.post(link,data=json.dumps(data),headers=headers)
print(res.json()['choices'][0]['message'])

위 예제에서 볼 수 있듯이 이제 message를 복수개 보낼 수 있다.

system을 통해 GPT의 역할을 지정하는 것이고

user 는 사용자의 입력을 나타낸다.

마지막으로 assistant 는 이전 대답 혹은 사전 정보 를 의미한다.

나머지 parameter 는 이전과 동일하니 이전글 혹은

링크를 확인하길 바란다.

GPT3.5 용도

openai 에서는 가이드를 통해 다음과 같은 사용을 추천하고 있다.

• 이메일 이나 문서의 초안 작성
• 파이썬 코드 작성
• 문서에 담긴 정보에 대해 질의 응답
• 챗봇 생성
• 소프트웨어 자연어 인터페이스 추가
• 다양한 주제에 대한 tutor
• 번역
• Simulate characters for video games and much more

번역에 대해서는 다음과 같이 message를 작성하면 된다.

text='텍스트'
messages=[{"role": "user", "content": f'Translate the following English text to Korean: {text}'}]

이전 모델과 차이가 뭐야?

가격이 1/10 수준으로 저렴해졌다.

기존 GPT3.5 모델은 1000토큰 당 0.02$이었지만

GPT3.5 Turbo는 1000토큰 당 0.002$이다.

그리고 추가 학습 ( fine tuning ) 에 대한

API는 아직 공개되지 않았다. ( 23.03.01 기준)

따라서 커스텀 모델이 필요한 경우에는

기존 모델을 사용해야 한다.

그리고 GPT3.5 Turbo 에 입력된 데이터는

30일간 저장된다고 명시 되었다.

데이터 사용에 대한 정책은 다음 링크를 참조하라.

개인 정보를 입력했을 경우 삭제 요청을 할 수 있다.

또, 차별 및 성희롱에 대한 판단 기능을

추가적으로 사용할 수 있으니 다음 가이드를 참고하라.

이외에도 음성 텍스트 변환 및 번역 모델인

Whisper 모델이 개선되었다.

개선 모델의 사용료는 분당 0.006$로 굉장히 저렴하고

다양한 언어와 포맷을 지원한다.

자세한 내용은 다음 링크에서 확인할 수 있다.

GPT3.5 의 경쟁자는?

다른 글에서 meta ( facebook ) 의 OPT 모델에 대한 이야기를 했다.

meta 에서도 최근 새로운 모델인 LLaMA 를 제시했다.

가장 큰 모델이 65B 라 실망할 수도 있지만

학습 방법의 개선으로 성능은 이전 모델보다 뛰어나다고 한다.

논문에 따르면 GPT3 (구모델) 보다 나은 성능을 보인다.

성능 대비 요구 Parameter 가 줄었기 때문에 일부 모델은

3090, 3090S로 구동할 수 있을 것이다.

예를 들어 7B 모델은 max_batch_size를 1로 조정하면

16G VRAM으로 구동 가능하다.

fp8로 정밀도를 희생한다면 13B모델까지

3090에서 구동 가능할 것으로 예상된다.

참고로 LLaMa 의 상업적 사용은 별도의 협의가 필요하다.

아직 GPT3.5 수준에 이르지는 못했지만 둘의 경쟁으로

더 저렴하고 좋은 서비스가 나올 수 있을 것이다.

(23.03.06 updated)

흥미롭게도 LLaMa의 모델이 인터넷상에 유출되었다.

원래도 학술 목적으로는 어렵지 않게 받을 수 있었지만

일반인에게까지 오픈되어 사람들이 열심히 연구중이다.

흥미롭게도 누군가 LLaMa github 에 토렌트 ( 마그넷 ) 주소를

업로드 했으며 Meta에서도 딱히 삭제하지 않고 있다. (링크)

외국 친구들의 반응도 있으니 짤리기 전에 한번 보길 추천한다.

이번 유출로 인해 모델을 받아 손쉽게 customize, 테스트해 볼 수 있다.

관련글

• chatGPT 한계점과 대체재에 대해
• GPT-3.5 python에서 사용하기
• chat GPT 하이브리드 앱 만들기 C# python
• GPT-4 뭐가 달라 졌을까?
• 빙 생성 AI 까지 넘보는 중

The post GPT3.5 Turbo – ChatGPT python API 소개 appeared first on JIN's BOT.

이전글에서 chatGPT 와 동일한 GPT 3.5의

python api에 대해 알아봤다.

분명 유용한 툴이지만 세상을 바꿀 정도일까?

chatGPT 의 단점에 대해 알아보자.

최적의 답변이 아니다.

GPT에는 별도의 지능이 없기때문에

학습된 데이터가 옳은지 틀린지 얼마나 좋은지 평가할 수 없다.

따라서 학습 시킨 데이터의 질에 따라

답변의 질도 결정된다.

또한, 내용을 조합하여 답변하기 때문에

이 과정에서 오류가 섞여 들어갈 수 있다.

특히, 코딩 측면에서 이런 점이 두드러진다.

chatGPT 가 제공해 주는 코드, 예제는

분명 유용하지만 수준이 높지 않다.

이러한 불완전성은 기술적 특성이자 한계이고

애초에 노코드 , 로우코드 솔루션의 목적은 다음과 같다.

1. 초보자의 손쉬운 사용
2. 단순 반복 코드의 작성 시간 단축

따라서 chatGPT 가 현업 프로그래머를 대체할 수는 없다.

최적의 코드를 제공하지 못하는게 당연하고

이에 대해 불평한다면 기술의 목적,용도를

잘못 이해한 것이다.

애초에 목적

현업 프로그래머를 대체하는

애초에 chatGPT 나 copilot의 목적은

프로그래머를 대체하는 것이 아니다.

추가적인 학습이 어렵다.

chatGPT 의 잘못된 응답에 지적을 할 경우

사람처럼 오류를 인정하고 내용을 정정한다.

실시간 학습이 이루어진다고 착각할 수 있지만

상황에 맞게 반응하는 것일 뿐이다.

좋은 내용을 선별하여 학습 된다고 하지만

언제 어떤 방식으로 이루어지는지 알려진 바 없다.

물론 chatGPT 도 추가 학습을 위한 api 를 공개하겠지만

생각보다 비용이 비쌀 것이다.

현재 같은 GPT3.5 인 Davinci 의 추가학습 모델은

사용시 1k token(750단어)당 0.12불의 비용을 지불해야한다. (23년 2월)

개인에게 부담되는 가격은 아니지만 사용자가 수십명만 되어도

상당한 비용이 발생할 것이다.

저작권 및 기밀정보 문제

공개적으로 코드, 정보를 올린거지만

출처표기 없는 상업적 사용을 달가워할 사람은 없다.

그런 면에서 구글의 바드 는 정보의 출처를

표기할 것이라고 한다.

현재 GPT3.5 모델은 openai를 통해서만 학습 시킬 수 있는데

기업의 경우 기밀 정보 유출에 대한 우려가 있다.

따라서 삼성전자 는 정보 유출을 막기 위해

chatGPT 의 접속을 차단했다.

당연히, 별도 학습된 모델은 특정 계정, 회사에서만

접근할 수 있을 것이다.

그렇더라도 기업입장에서 서버를 외부에 두는것은 큰 부담이다.

chatGPT 대체재

그러면 local 등 에서 사용할 수 있는 chatGPT의 대안들을 알아보자.

모델이름 뒤에 있는 숫자는 parameter의 개수를 나타내며

일반적으로 높을수록 성능이 더 좋은 대신 고사양을 요구한다.

GPT-J 6B

eleutherAI에서 Ben Wang의 JAX를 기반으로 Pile 이라는 데이터셋으로 만든 모델이다.

자체적인 평가 결과 GPT3 Curie와 유사한 성능을 가진 것으로 보인다.

자세한 설명은 huggingface에서 볼 수 있고 간단한 체험도 해볼 수 있다.

최소 12GB의 VRAM이 필요하다.

low vram 버전도 있지만 성능 손실이 존재한다.

GPT-NEOX 20B

eleutherAI 의 최신 모델로 전작 GPT-NEO를 계승하고 있다.

자체 평가에 따르면 Curie보다는 좋지만

GPT3.5 모델인 Davinci에 미치지는 못한다.

textsynth, eleutherAI에서 테스트해볼 수 있다.

최소 40GB의 vram이 필요하기때문에 여기서부터는

A40, A100, RTX A6000 이상이 필요하다.
A100(40G)의 경우 미국 온디맨드 기준 AWS가 시간당 4.1$

GCP가 시간당 3.67$이므로 클라우드에서 구현하는걸 추천한다.

azure 등 더 저렴한 곳도 있으니 자세한 가격은 이 링크를 참고하라.

OPT-175B : chatGPT 에 가장 근접

meta ( facebook) 에서 공개한 모델로 GPT3.5와

동일한 parameter 갯수를 가진다.

현재 API를 완전히 공개하였으며 비상업용, 연구적 목적에

한하여 자유롭게 사용할 수 있다.

링크에서 체험해 볼 수 있으며 데이터셋, 알고리즘의

차이때문인지 davinci 보다는 성능이 떨어진다.(논문)

클러스터 구성을 지원하며 총 350GB의 VRAM이 필요하고

최대 700GB의 RAM이 필요하다.

관련글

• GPT3.5 Turbo – ChatGPT python API 소개
• chat GPT 하이브리드 앱 만들기 C# python
• GPT-4 뭐가 달라 졌을까?
• 빙 생성 AI 까지 넘보는 중

The post chatGPT 한계점과 대체재에 대해 appeared first on JIN's BOT.