빙 에 앞서 지난 글에서 GPT-4 에 대해 소개했다.

유료 사용자에게만 공개된 GPT-4 를

무료 로 사용해볼 방법 은 없을까?

다행히 존재하는 딱 한가지 수단이 바로 뉴 빙 이다.

마이크로소프트는 3월 14일 공식 블로그 를 통해

뉴 빙 에서의 GPT-4 의 사용을 공식화 했다.

물론 chat GPT 에 사용되는 것과 동일한 모델은

아니고 검색 엔진에 맞게 Fine Tune 되어있다.

공식 문서에서도 ‘뉴 빙 ‘과 ‘빙챗 ‘

두가지 이름이 혼용되고 있다.

공식 명칭은 뉴 빙 이 맞으며 빙챗 은

이에 속하는 기능 중 하나로 보면 된다.

뉴 빙 은 신청자에 한해 체험해볼 수 있고

나는 몇분 안되어 등록되었다.

뉴 빙 특징 , 차이점

가장 큰 차이점은 웹 크롤링 여부이다.

빙에 사용된 모델 프로메테우스 는

웹 크롤링이 가능하다.

따라서 GPT 에 비해 최신 정보를 제공하고

학습되지 않은 정보에 대해서도 답변할 수 있다.

대신 GPT-4 를 사용하기때문에 GPT-3.5를 사용하는

chatGPT 에 비하면 답변이 다소 느리다.

그리고 크롤링 된 정보는출처를 명확히 링크로 첨부해준다.

사용자는 출처를 보고 정보의 사실, 최신 여부를 판단 가능 하다.

물론, 모든 페이지가 빙 에서 크롤링 되는 것은

아니고 단순 블로그 글도 참조하니 너무 믿지는 말자.

무료인 만큼 채팅횟수 에 제한이 있다.

채팅은 하루당 150개, 세션당 15개 로 제한된다.

어차피 15번 이상 대화가 지속될 일도 거의 없고 뉴 빙 의

특성 상 대화가 길어질수록 이상한 답변을 할 가능성이 높아진다.

빙챗 은 GPT의 Temperature에 해당하는Tone을

창의적 , 균형 잡힘, 정확함 중에 고를 수 있다.

찾고자하는 정보 앞에 #search 를 앞에 붙이면

검색 모드가 되어 좀 더 정확하고 최신 정보를 제공해준다.

뉴 빙 코파일럿 기능까지?

엣지 사이드바

엣지를 최선버전으로 업데이트하면 뉴빙 을

사이드바에서 사용할 수 있다.

단순 채팅 기능 뿐만 아니라 두가지 기능이 추가 되었다.

첫번째는 초안 작성 기능이다.

작성할 주제, 톤, 포맷, 길이에 대한 지정이 가능하다.

기본 포맷은 일반 글, 이메일, 블로그, 개괄형 4가지가 제공된다.

영어로 주제를 던져주면 쓸만한 퀄리티의 글이 작성된다.

한글로도 잘 되지만 학습자료가 부족한만큼 퀄은 조금 떨어진다.

두번째 기능은 분석 및 요약이다.

일반 페이지의 경우 해당 사이트나 페이지의

연관페이지, 평가 및 트래픽을 보여준다.

그리고 CNN, 뉴욕 타임즈, 워싱턴 포스트와 같은

영어권 주요 매체들은 요약 기능까지 제공한다.

기사를 클릭해보면 해당 기사에 대한

요약, 연관 Q &A를 표시해준다.

안타깝게도 한글 매체는 요약 기능을 지원하지않았다.

확인해보니 중앙일보, 조선일보 영문 사이트 정도에서

Q &A 기능이 활성화되었다.

이미지 생성 기능

3월 21일 기준 빙 의 이미지 생성 기능 이

대중들에게공개되었다.

뉴빙 신청자의 경우만 사용할 수 있고

이 링크에서 서비스를 이용할 수 있다.

한 때 생성 AI 붐을 일으켰던 DALL E 를

빙 에서도 사용할 수 있게 되었다.

최상단 이미지가 “Screen Headed Robot, Anime cartoon ”이라는

프롬프트 결과물을 살짝 수정한 것이다.

제공되는 그림은 JPG, 1024 x 1024px로 저장하거나 공유할 수 있다.

부스트 코인이 있을 때는 수초 내에 결과물이 나오고

없을때는 최대 45초까지 걸릴 수 있다고 한다.

현재는 사용자가 적어 코인이 없어도

10초이내에 그림이 나온다.

일주일에 10개의부스트코인을 제공하고

검색 등 다양한 행위의 리워드로 추가 코인을 받을 수 있다.

체험자가 늘기전에 체험해보길 추천한다.

오피스와 코파일럿의 결합

위 유튜브 와 공식 블로그를 통해 오피스 365 에

차세대 생성 AI가 적용될것이라 발표 했다.

간단한 명령어 만으로 초안, 템플릿 등의

생성이 가능해 업무 효율을 크게 올려줄 것이다.

어느정도 까지 가능할 지 대중들의 반응이 뜨거운 가운데

현재 20개 고객사에서 베타 테스트중이다.

마이크로소프트 365 구독자에게 제공될 것으로 보인다.

Github처럼 코파일럿 기능에 추가적인 비용이

발생할 것으로 보이나 아직 확정된 것은 없다.

관련글

• GPT-4 뭐가 달라 졌을까?
• GPT3.5 Turbo – ChatGPT python API 소개
• chat GPT 하이브리드 앱 만들기 C# python
• chatGPT 한계점과 대체재에 대해

The post 빙 생성 AI 까지 넘보는 중 appeared first on JIN's BOT.

간단하게 분석 글을 작성한다.

현재 GPT-4 는 유료 서비스인 ChatGPT plus

구독자에게만 제공되고 있다.

크게 달라진 점을 선요약 하자면 다음과 같다.

• 이미지에 대한 입력이 가능해짐
• 다양한 종류의 시험에서 성적이 향상됨
• 다양한 벤치마크에서의 성능이 향상됨
• 차별적이고 유해한 컨텐츠를 걸러내는 기능이 강화됨

많은 전문가들이 GPT-4의 parameter 수 는

GPT-3 / 3.5 와 큰 차이 없을 것으로 본다.

Parameter 를 증가시켜서 얻을 수 있는 이득이

증가할 computational cost 에 비해 크지 않기 때문일 것이다.

따라서 질의 응답 성능에서는 큰 개선을 느끼기 어려운 대신

일부 기능이 강화되거나 추가되었다.

참고로 GPT-4 역시 대부분 21년 9월까지의

데이터들로 학습되었다.

그러므로 학습되지 않았을만한 내용이나

추론하기 어려운 내용을 묻고 실망하지 말자.

몇번이나 이야기하지만 GPT-4 에

입력되지 않은 정보에 제대로 답할 수 없다.

GPT-4 특징 자세히 설명해봐

효율적인성능 예측이 가능해짐

GPT-4 논문 가장 앞에 나오는 개선점 이며

그만큼 주요한 포커스중 하나 이다.

연구진은 위 그래프를 통해 computing cost 와 loss 사이의

간단한 상관관계를 구할 수 있었다.

GPT-3~4 에 해당하는 모델들은 Computing cost 가

너무 크기때문에 알고리즘 평가, Fine tuning 이 효율적으로 이루어지기 어렵다.

반면, 이러한 상관관계를 이용한다면 Computing cost 가

1000~10000배 적은 모델로원본 모델의 성능을 예측할 수 있다.

즉, GPT-4 는 소형 모델을 이용해 같은 자원으로

더 많은 알고리즘 및 Fine tuning 을 평가할 수 있다.

이 방법을 이용했기때문에 비교적 짧은 시간 안에

GPT-4 가 나올 수 있었을 것이다.

이렇듯 향후 개선을 위해 가장 중요한 포인트 인데

아직까지 제대로 설명한 기사나 분석글 은 없었다.

참고로 openai 의 모델에 대해 보다 효율적인 벤치마킹을

할 수 있도록 evals라는 프레임워크를 오픈소스로 공개했다.

해당 툴을 이용해 일반 사용자들도 자유롭게

새로운 평가 기준, 방법을 제시할 수 있다.

추론성능이 강화됨

위 그래프에서 볼 수 있듯이 대다수의 시험에서

성적이 개선되었다.

정확히 어떤 부분이 개선되었는지는

다음 예제를 통해 유추할 수 있다.

같은 질문에 대해 GPT-3.5 는 그럴듯하지만 틀린 답을

GPT-4 는 정확한 답을 내놓았다.

이 예제에서 볼 수 있듯이 GPT 모델은 실제로

지능이 있는 건 아니기 때문에 추론 문제에 취약했다.

정확한 방법은 설명 되지 않았지만 GPT-4 에서는

특정 유형의 추론 문제에 대해 학습이 이루어진 것으로 보인다.

따라서 학습된 형태의 문제에 대해서는

비교적 정확한 답변이 가능하다.

이미지에 대한 입력이 가능해짐

질문) What is funny about this image? Describe it panel by panel.

VGA 커넥터의 외관을 사용한 라이트닝 케이블 사진을

어느정도 이해하고 설명했다.

이외에도 간단한 문제의 diagram 이나

카툰 에 대한 분석, 답변이 가능하다.

이와 같이 GPT-4는 사진 상 물체의classification &location이

가능하고 이를 통해 상황을 추론할 수 있다.

물론, 이번에 도입되는 기능인 만큼 일부 데이터셋 에서는

현재 최고 기술 보다 성능이 떨어진다.

8개의 데이터셋에 대해 accuracy가 평균적으로 68%에서 76%로 향상되었으나

2개의 데이터 셋에서는 7% 가량 하락하였다.

다양하게 활용할 수 있겠지만

선공개된 기능에는 포함되지 않았다.

이외의 소소한 개선

입력가능한 토큰이 최대 8k개로 증대 되었고

별도 모델을 사용할 경우 최대 32k개(단어 25k개)까지 가능하다.

예전보다 긴 문서의 번역이나 요약에 활용할 수 있다.

보다 세세한 역할 부여가 가능해졌다.

예제에서는 답을 직접적으로 알려주지 않는튜터,

셰익스피어처럼 말하는 해적 등을 보여주었다.

마지막으로 필터링 우회를 방지하기 위한 기술이 추가되었다.

상당 수 막은것으로 보이나 아직 완벽하지는 않다.

그럼 GPT-4 의 한계점은 뭐야?

거짓 답변을 내놓는 Hallucination에 대한 성능이

개선되었지만 아직 완전히 잡지는 못했다고 한다.

참고로 GPT-4 역시 대부분 21년 9월까지의

이야기도 있다.

참고로 GPT-4 역시 대부분 21년 9월까지의

데이터들로 학습되었다.

그러므로 학습되지 않았을 내용이나 추론하기 어려운 내용을 물으면

당연히 이상한 답변이 나온다.

GPT-4 의 성능이 안좋거나 한계점 이 아니라

그냥 사용자가 이상한 질문을 한것이다.

참고로 다국어 입력에 대한 성능도 강화되었지만

성능차이는 여전하기때문에 가능하면 영어로 질문하라.

유해하거나 차별적, 공격적인 컨텐츠에 대한

필터링이 강화되었으나 문제는 그 과정에 있다.

타임지에 따르면 해당 작업은 케냐의 노동자들에게

아웃소싱되었고 2$의 시급이 지불되었다.

케냐의 평균 임금과 비교했을 때 시급이 높은 편이지만

업무강도 및 정신적 고통이 상당했다고 한다.

기존에는 텍스트만 판별했다면 2월부터는 유해 이미지까지

판별하게 만들어 고통이 가중되었다.

결국, openAI 는 해당 아웃 소싱업체와의

계약을 예정보다 일찍 끝마쳤다.

최근 다양한 분야에서 공정 무역 에 대한 관심이

커진 만큼 이에 대한 대책이 필요하다.

GPT-4 API 는 언제 나와?

python api 는 아직 공개되지 않았고

대신 알림메일을 발송해준다고 하니 등록하자.

기본 모델도 가격이 비싸지만 32k 모델은 그것보다 2배비싸다.

참고로 gpt-3.5-turbo 는 1k 토큰당 0.002$

gpt-3.5 ( 다빈치 )는 0.02$이었다.

그리고 기본적으로 분당 토큰 40k개 &요청 200개의 리밋이 걸려있다.

마지막으로 개발자의 라이브스 데모를 첨부하며 글을 마친다.

관련글

• chat GPT 하이브리드 앱 만들기 C# python
• GPT3.5 Turbo – ChatGPT python API 소개
• chatGPT 한계점과 대체재에 대해
• GPT-3.5 python에서 사용하기
• 빙 생성 AI 까지 넘보는 중

The post GPT-4 뭐가 달라 졌을까? appeared first on JIN's BOT.