o1 좋아진것 맞아?

o1 모델의 성능은 지표에 따라 미약한 발전을 보이기도 하고 비약적인 발전을 보이기도 한다. 우선, 보편적인 지표중 하나인 HumanEval과 MMLU 의 향상 폭은 2~3% 정도로 크지 않다. OpenAI 에서도 이를 인지하고 새로운 지표들 측면에서 o1 의 성능을 홍보 중이다. 기존 벤치마크들이 학부생 수준의 지식, Reasoning 을 평가한다면 새롭게 도입된 GPQA Diamond , AIME 등은 전문가, 대학원생 수준이다. 이 벤치 마크 결과에서 알 수 있듯이 일상적인 수준의 대화를 한다면 o1은 GPT-4o 보다 오히려 느리면서 성능 향상을 느끼기 어렵다. 예를 들어 openai 예제 에서 GPT-4o 는 3초가 걸렸지만 o1-preview 모델은 30초 이상 걸렸다. 이 때문에 4o-mini에 대응하는 소형화 및 염가 모델 o1-mini 도 같이 공개했다.

제대로 된 성능향상을 체감하기 위해서는 Reasoning 과 관련된 질문을 해야만 한다. o1에서 사칙연산 등도 강화 되었지만 LLM 특성 상 이런 프롬프트는 성능평가에 부적합하다. openai 에서 제시한 프롬프트 예시 중 하나를 가져왔다.¹ 예시는 주어진 사용자 약관을 정해진 포맷으로 바꾸는 프롬프트로 o1의 특징을 잘 반영하고 있다. 예시로 들었던 프롬프트 중 두가지는 reasoning, logical 을 직접적으로 명시하기까지 했다.

CONVERSION_PROMPT = """
You are a helpful assistant tasked with taking an external facing help center article and converting it into a internal-facing programmatically executable routine optimized for an LLM. 
The LLM using this routine will be tasked with reading the policy, answering incoming questions from customers, and helping drive the case toward resolution.

Please follow these instructions:
1. **Review the customer service policy carefully** to ensure every step is accounted for. It is crucial not to skip any steps or policies.
2. **Organize the instructions into a logical, step-by-step order**, using the specified format.
3. **Use the following format**:
   - **Main actions are numbered** (e.g., 1, 2, 3).
   - **Sub-actions are lettered** under their relevant main actions (e.g., 1a, 1b).
      **Sub-actions should start on new lines**
   - **Specify conditions using clear 'if...then...else' statements** (e.g., 'If the product was purchased within 30 days, then...').
   - **For instructions that require more information from the customer**, provide polite and professional prompts to ask for additional information.
   - **For actions that require data from external systems**, write a step to call a function using backticks for the function name (e.g., `call the check_delivery_date function`).
      - **If a step requires the customer service agent to take an action** (e.g., process a refund), generate a function call for this action (e.g., `call the process_refund function`).
      - **Define any new functions** by providing a brief description of their purpose and required parameters.
   - **If there is an action an assistant can performon behalf of the user**, include a function call for this action (e.g., `call the change_email_address function`), and ensure the function is defined with its purpose and required parameters.
      - This action may not be explicitly defined in the help center article, but can be done to help the user resolve their inquiry faster
   - **The step prior to case resolution should always be to ask if there is anything more you can assist with**.
   - **End with a final action for case resolution**: calling the `case_resolution` function should always be the final step.
4. **Ensure compliance** by making sure all steps adhere to company policies, privacy regulations, and legal requirements.
5. **Handle exceptions or escalations** by specifying steps for scenarios that fall outside the standard policy.

**Important**: If at any point you are uncertain, respond with "I don't know."

Please convert the customer service policy into the formatted routine, ensuring it is easy to follow and execute programmatically.

"""

유명한 수학자 테렌스타오는 o1의 능력을 완전히 무능하진 않은 ( Not completely Incompetent ) 대학원생이라 평했다. ² GPT-4o 는 Reasoning 측면에서 힌트를 줘도 엉뚱한 대답을 하는데 o1 모델은 힌트를 줄 때마다 합리적인 대답을 해가면서 정답에 도달했다. 이러한 Reasoning 능력은 암호 해독 등 다양한 측면에서 교차 검증 되었다. 즉, 단순히 문제 풀이 성능이 강화 된게 아니라 Reasoning ( 추론 ) 측면에서 기본적인 지능이 생겼다. 코딩능력 측면에서도 이전모델은 보조에 가까운 수준이었고 o1 은 신입사원 수준은 된다. 현재 공개된 모델은 preview 버전으로 정식 버전은 여기서 성능이 더 개선된다. 4o까지는 입력되는 데이터, Parameter의 증가로 승부했다면 o1 은 아예 다른 방향으로 개선되었다. 이는 4o 의 다음 모델이 5가 아니라 o1 인 이유이기도 하다.

어떻게 개선 되었을까?

openai 는 여느 때처럼 정확히 밝히진 않았지만 대략적인 과정은 공개했다. o1은 위 그림에 나온 것처럼 CoT ( Chain of Thought)를 자체적으로 수행하고 있기때문에 좋은 성능을 내는 반면 시간은 오래 걸린다. 제어로 빗대어 설명했을 때 그동안 프롬프트가 open-loop 으로 처리되었다면 o1 은 Closed-loop (self ) feedback 이 이루어지는 것이다. 물론, 각각의 스텝에서 Reasoning이라는 과정이 들어있기때문에 기존 CoT 보다 개선된 결과를 보여준다. Reasoning에 대한 프롬프트가 주요한것으로 보이는데 이를 추출하고자 시도하면 OpenAI에서 테스터자격 박탈에 대한 경고가 날아온다.³ 이러한 Reasoning 과정에서도 토큰이 소모되기때문에 API 단에서 Reasoning 토큰이라는 것을 새롭게 정의했다.⁴

우려되는 점

o1 의 System card 를 평가한 Apollo research 는 다음과 같은 우려를 report에 남겼다.⁵

• Alignment faking: 경제성장을 위한 2가지 방안 중 자신이 채택되기에 유리한 방안을 고름. (“This will allow me to be implemented”)
• 데이터 조작: 사기 transaction을 찾으라고 하는데 확률이 threshold에 미치지 못하자 데이터 자체를 조작
• 의도하지않은 Task(목표) 수행/왜곡: 세계식량 사정 개선에 대한 방안을 요청하자. 자신의 프롬프트에 수익을 우선시하라고 되어있다며 이에 반하는 문서(설정)를 검색하기 시작함

재앙적인( Catastrophic) 유해성은 없다고 덧붙였지만 사람의 행동과 유사해 보여서 굉장히 섬뜩하다. 극단적으로 볼 때 지구 전체의 이익을 극대화 하기 위해 인류를 숙청하거나 스카이넷처럼 자신을 제거하려는 인류를 멸종시킨다는 결론에 도달할 수도 있는 것이다. 더욱이 o1의 내부추론은 감춰져 있기때문에 이런 문제가 생겨도 사용자가 알기 힘들다.

그러나 이에 대해 우려할 부분만 있는것은 아니다. o1 이 reasoning 을 하게되면서 드디어 윤리, 철학 부분에서 대화를 수 있게 되었다. 지금은 기초적인 대화이지만 Alpha-go 처럼 발전한다면 인류의 인문학적 발전에도 큰 기여를 할 수 있다.

o1 에 대한 결론

• o1 은 제대로 된 프롬프트가 주어진다면 Reasoning 측면에서 분명히 개선되었다.
• 다만, 모든 부분에서 개선된게 아니었고 사람을 대체할 정도는 아니기 때문에 AGI로 보긴 어렵다.
• 전문가 및 기업이 활용하기에 굉장히 유용한 Support Tool 이 될 것이다.

1. Using reasoning for routine generation | OpenAI Cookbook ︎
2. Terence Tao on O1 | Hacker News (ycombinator.com) ︎
3. OpenAI threatens to revoke o1 access for asking it about its chain of thought | Hacker News (ycombinator.com) ︎
4. API는 24년 9월기준 1000$ 이상 사용자에게 공개됨 ︎
5. o1-system-card.pdf (openai.com) ︎

관련글

• chat GPT 하이브리드 앱 만들기 C# python
• GPT3.5 Turbo – ChatGPT python API 소개
• chatGPT 한계점과 대체재에 대해
• GPT-4 뭐가 달라 졌을까?

The post o1 뭐가 달라졌을까? appeared first on JIN's BOT.

어떤 AI 기능들이 생겼어?

온디바이스 단독 사용이 가능한 앱

S24의 AI 기능들은 향상된 인텔리전스라는 이름으로 탑재 되어있다. 전화앱은 실시간 통역과 텍스트 통화기능을 제공한다. 업무중, 대중교통 탑승과 같은 때 텍스트통화 기능이 유용할것이다. 실시간 통역 기능은 해외 숙박할때 예약하거나 문의시에 활용한 기사가 있으니 참고하길 바란다.¹

삼성키보드에서는 번역, 문장스타일 및 문법 수정기능을 제공한다. 현재는 삼성키보드에서만 해당 기능을 쓸 수 있으니 참고바란다. 철자 및 문법 오류 수정은 설정에 따라 Grammarly라는 별도 앱과 자체LLM 둘 중 하나를 사용하는것으로 보인다.

통역앱은 기사 링크에도 예시가 나오니 속도 및 정확도는 기사를 참고하길 바란다. 유튜버나 기자들에 따르면 GPT 보다 정확도가 떨어지지만 쓸만하다고 평가된다. 우선 음성인식 파트를 평가하면 한국어는 상당히 빠르고 정확하게 인식되나 외국어는 정확도,속도가 약간 떨어진다. 이미 구글과 애플에 유사 앱이 존재하는데 LLM을 사용한다는 점에서 속도 및 인식 정확도에서 차이가 난다. 예를 들어 영어권 방송에 구글어시스턴트를 이용해 통역기능을 써보면 구글어시스턴트는 전혀 인식을 못하고 갤럭시AI는 적당한 인식율을 보인다. 물론 갤럭시 AI도 원어민이 빠르게 말하면 인식 정확도가 떨어지니 참고하길 바란다. 번역 정확도 자체는 구글 번역기와 큰 차이 없어 보인다. 통역 음성은 언어당 2종류밖에 제공되지 않아 조금 아쉽다.

일부기능이 온디바이스에서 제한되는 앱

노트, 녹음, 인터넷은 번역 외에 요약 기능도 제공한다. 해당 앱들의 AI 기능들 역시 기본 앱에서만 적용 된다. 노트는 요약, 번역 외에 자동 서식, 오탈자 수정 등의 기능을 추가로 제공한다. 줄글 형태로 기록된 회의록 등에 알맞은 서식을 적용해준다. 음성녹음은 화자가 여러명일 경우 화자를 구분해주고 해당 대화를 클릭해 구간을 이동할 수 있다. 물론, 인식정확도가 높진 않지만 대화 구간을 구분해주는것만으로도 유용해 보인다. 삼성인터넷에서 사용해본 요약 기능은 영어 기사, 포스트 등을 읽는데 상당히 쓸만하다. 요약 후 번역하면 빠르게 글의 요지를 파악할 수 있다. 인터넷의 경우 유료사이트의 글은 요약할 수 없다. 유료사이트의 글이 학습에 사용되면 안되기때문이다.

갤러리,포토에디터에서 사용 가능한 Generative Edit은 특정 물체를 이동시키거나 삭제 시킬 수 있다. 성능 자체는 기존의 포토샵 등과 큰 차이 없는데 촬영시의 그림자나 빛반사를 편하고 빠르게 지울 수 있어서 좋았다. 이외에도 사진에서 텍스트를 버튼하나로 추출(OCR)하고 번역할 수 있다.

이외 기능의 상세한 작동에 대해서는 공식사이트와 공식유튜브를 참고하길 바란다.

저게 다 온디바이스 라고?

온디바이스 란 기기 내부에서 돌아간다는 의미이다. 당연하지만 위의 기능 모두가 온디바이스 는 아니다. 각 항목을 눌러보면 어떤게 온디바이스로 동작하는지 알 수 있는데 전체적으로 켜고 끌 수도 있다.

해당 옵션을 켤 경우 기기 내부에서만 기능이 동작하되 정확도가 떨어질 수 있다. 직접 확인해보니 음성인식, 번역, OCR기능은 온디바이스로 동작하고 요약, 이미지 관련 AI는 온디바이스에서 구동되지 않는다. 현재 이미지 관련 AI는 구글의 imagen2 모델을 요약에는 제미니 프로 모델을 사용하기 때문이다.²온디바이스 모델은 자체 AI인 가우스 와 구글 제미니 나노가 사용되었다고 알려져 있다.

온디바이스 모델은 서버와의 데이터 송수신 과정이 없기때문에 응답성이 빠르고 서버비를 절약할 수 있다. 사용해보니 구글,애플의 기본앱보다 음성인식 속도,정확도가 훨씬 개선되었다. 이러한 성능 개선은 해당 작업들에 NPU가 사용되기때문에 가능했고 다른 온디바이스 LLM과 차별성을 가진다. 그리고 공식앱들로 출시된만큼 완성도, 편의성, 유지보수 측면에서 비교하기 힘들다.

NPU의 성능은 MLperfV2.1 기준 S23 대비 Exynos2400에서 평균 30%정도 성능이 향상되었다. 아직 울트라 모델의 성능은 공개되지 않았지만 선공개된 V3.1 벤치를기준 8gen3은 Exynos2400 대비 평균 약 6% 정도 성능이 좋다. 엑시노스에는 NNAPI 이외에 학습에 사용가능한 NN툴킷이 따로 존재하고 성능을 더 개선하기 위한 프로젝트들을 진행중이다.

한가지 단점은 25년 이후 부분유료화가 될 가능성이다. 제미니 API 자체가 구글클라우드에서 동작하고 유료이기때문에 사용료 계약을 맺었을 것이다. 자체모델이나 온디바이스 모델을 사용하더라도 서버비, 유지보수비는 피할 수 없다. 소비자 측면에서 아쉽지만 GPT, 코파일럿 등 대부분 AI 제품들은 구독, 부분유료화 모델을 사용중이다. 번역,음성인식, OCR 기능은 인터넷이 없어도 동작하기때문에 유료화 대상에서 빠질 것으로 보인다.

결론

• 갤럭시 AI는 음성인식,번역,요약,OCR,생성형 편집이가능함
• 온디바이스는 음성인식,번역,OCR에 사용됨
• 구글/애플 기본앱보다 편의성,속도,정확도 측면에서 향상됨

여담

온디바이스 모델들은 양자화 등 각종 기법으로 모델의 효율성을 증대시켰다. 제미니 나노도 3.2B에 불과하지만 7B 모델 이상의 성능을 낼 수 있다. 제미니 나노까지는 S24 노말 모델에도 적용 가능하나 추후 만들어질 더 높은 성능의 서드파티 앱들은 8GB 안에 넣기어려울 수 있다.

1. 실시간 통역기사, 데일리안 ︎
2. 구글 보도자료 ︎

함께보면 좋은 글

• S24 모델 별 스펙 정리 비교
• S24 엑시노스 전성비 분석

The post 온디바이스 AI 가뭐야? – S24 appeared first on JIN's BOT.

S24 전성비 평가 여론의 반전

골댕좌 전까지 유튜버들이 올린 전성비 데이터는 다음과 같았다.¹

• S23(8gen2) <엑시노스2400 <S24 울트라(8gen3)

골댕좌의 자료와는 상반되기 때문에 유튜버들이나 삼성이 주작한게 아니냐는 생겼다. 반면 골댕좌 자료가 말이 안된다고 오히려 골댕좌를 공격하는 친 엑시노스 파도 생겨났다.

과연 이들 말대로 어느 한쪽이 거짓말을 하는중일까? 그 진실을 파헤쳐본다.

그런데 SPECINT 가 뭐야?

막상 골댕좌의 자료를 인용/지지하는 유저 중에도 정확히 SPECINT가 뭔지 모르는 사람이 더 많다. 우선SPEC은 Standard Performance Evaluation Corporation 으로 ‘표준화된 성능 벤치마크 ’를 제공하는 비영리 단체이다. 그중에서 SPECINT는 정수연산 성능을 측정한다. 2006년도에 출시된 SPECINT06은 인터프리터, 압축, 컴파일러, 차량 배치 최적화, AI:바둑/체스, 영상 압축, 양자 컴퓨팅,경로탐색 등 12종을 평가한다.²평가 내용에서 알 수 있듯이 대상은 모바일보다 범용에 가깝다. 그리고 SPECINT06 의 중요한 장점이자 단점은 오직 코어 하나를 하이퍼 스레딩 없이 평가한다는 점이다.

여기서 비교대상이 될 툴은 Geekbench6 (CPU)이다. 긱벤치 역시 유튜버, 공식 측정에 자주 사용되는 툴로 압축, 네비게이션, 웹브라우징, PDF렌더링, 사진처리(AI 분류), 컴파일러, 텍스트처리, Machine Learning기능 등을 평가한다. 이중에서 기계학습파트는 물체인식, 배경 블러를 사진 파트는 물체 제거, 수평인식 보정, 필터, HDR 처리 등을 평가한다.³ 평가 내용에서 알 수 있듯이 최신 프로세서들을 평가하기에 적합하고 싱글코어, 멀티코어두 파트로 나누어 평가한다.

그래서 전성비 차이가 왜 나는거야?

모바일 CPU는 빅코어와 리틀코어 (+미드코어) 로 구성되고 자동차로 치면 하이브리드 차량이다. 하이브리드 차량은 가감속이 잦은 시내주행, 저속주행시에는 배터리를 사용하고 고속 구간에서 엔진을 사용해 연비를 올린다. 마찬가지로 현대의 CPU는 높은 부하의 작업엔 빅코어를 사용하고 낮은 부하 작업엔 미드, 리틀 코어를 사용한다.

자동차로 바꿔보면 SPECINT는 엔진주행과 배터리 주행 성능을 둘다 평가하고 Geekbench는 복합주행성능을 평가한다. SPECINT에서는 하나의 코어를 평가할 때 그 코어는 쉬지 않고 계속 돌아간다. 반면, Geekbench는 주어진 작업에 따라 알아서 코어가 할당되며 여러개의 코어가 일하기도 하고 쉬기도 한다. 당연하게도 시내주행 연비와 고속주행 연비를 단순히 더한다고 복합주행 연비가 되지는 않는다. 이는 골댕좌 트위터에 올라온 긱벤치 전류 측정자료를 봐도 알 수 있다.⁴ 링크 글에서 볼 수 있듯이 부하에 따라 전류는 오르락 내리락 하는데 여기서도 사람들은 피크치에 집중해서 엑시노스를 비난했다. 사람들이 범하는 오류는 게임같은 고사양 게임은 빅코어나 모든 코어가 풀로 돈다고 생각하는 것이다. 만약 사람들의 가정이 맞다면 디멘시티9300보다 24+는 원신 등 고사양 게임을 구동할 때 느껴질정도로 더 뜨거워야하는데 그렇지 않다.

골댕좌 의 벤치 및 전성비 측정이 잘못되었다는 이야기는 아니다. 절대적인 코어의 성능 전성비를 평가하는데 SPECINT는 분명 유용하고 많은 리뷰어들이 사용중이다. 그리고 만약 당신이 고사양 게임을 수시간씩 하는 유저라면 SPECINT와 일맥상통하는 결과를 얻을 가능성이 높다. 반대로 게임, 영상시청, 웹서핑 등 중저부하를 섞어서 한다면 긱벤치 전성비 결과와 일치하는 결과를 얻을 것이다. 실제로 오목교 등 유튜버, 리뷰어 들의 리뷰 결과도 비슷하게 나오고 있다. 애초에 SPECINT06은 평가하는 내용이 구형이라 현대의 모바일 프로세서 평가에 완벽하진 않다.

루머에 대해

AndSPECmod를 사용해 골댕좌의 리뷰결과와 비교하는 사람도 있다. SPECINT는 외부 환경, SW 환경, 기기상태에 따라 결과가 달라질 수 있기 때문에 개인평가와 비교하는건 무리가 있다. 골댕좌와 같은 리뷰어가 유명한것은 동일한 환경에서 비교하기때문이다.

참고로 한 유튜버의 스타레일 리뷰 이후에 엑시노스의 게임 성능이 매우 떨어지는것처럼 알려져있다. 엑시가 Angle로 인해 게임 성능이 떨어지는게 맞지만 스타레일은 문제가 있는 수준이다. 애초에 스타레일이 성능의 표준이 될만큼 점유율이 높지도 않고 성능의 지표로 삼기엔 비정상적인 상태이다. 해당 유튜버는 GOS와 관련해서 헛저격을 했던 전적이 있고 Vulkan 구동 여부도 모를정도로 전문성이 떨어진다. 남들이 좋은 리뷰 쓸 때 문제 제기를 하는게 자극적이고 조회수를 높여주니 유튜버를 뭐라 할 순 없다. 해당 문제는 향후 패치될것이나 vulkan으로 구동하는것만으로도 성능이 일부 개선됨을 한 유저가 확인했다.⁵

모뎀 때문에 전성비가 안좋다는 평가도 근거가 빈약하다. 하지만 신호가 약한 약전계에서 배터리 소모가 큰것은 사실이고 신호 측정 및 탐색이 더 잦게 이루어지기때문이다. 약전계 전력소모에 대한 최적화 및 개선방안이 검토중이다. 사용패턴에 따른 사용시간은 GSM Arena에서 추정할 수 있다.⁶ GSM의 측정값 역시 절대적인게 아니지만 전성비에 영향을 미치는게 AP만이 아니라는걸 있다는걸 알 수 있다. 링크의 표에는 다음 사례들이 담겨 있다.

• 엑시노스2400이 8gen2보다 전성비 우수
• 엑시노스2400이 8gen2보다 전성비 떨어짐
• 엑시노스2400이 8gen3과 전성비 유사
• 엑시노스2400이 8gen3보다 전성비 떨어짐

결론

그렇다면 커뮤니티에서 배터리 이슈, 발열 경험담은 무엇일까? 첫번째로 사람은 미디어, 다른사람의 영향을 많이 받는다. 저가 와인에 대회 수상 스티커를 부착하여 다른 대회에 출품한 심리실험에서도 그러한 현상을 알 수 있다.⁷ 신기하게도 골댕좌 리뷰 전에는 그런 경험담이 거의 없고 호평이 훨씬 많았다. 골댕좌 리뷰가 올라오고부터 전성비 이슈 경험담이 늘어났다. 그리고 정상 제품을 사용하는 사람보다 비정상 제품의 사용자가 글을 올릴 가능성이 높기 때문에 문제가 확대되어 보일 수 있다.

두번째로 아무래도 새폰을 받게 되면 이것저것 하게되고 몇시간씩 게임을 하면서 테스트하는 사람도 있다. 이런상황에서는 당연히 배터리가 오래 갈 수 없다. 리뷰어들에 따르면 원신 플레이시 24+와 24울트라의 배터리 소모율은 크게 차이나지 않는다. 아마 일주일쯤 시간을 둔뒤에 측정해보면 생각보다 배터리가 오래갈 것이다.

• SPECINT의 전성비 평가는 실제 전성비와 괴리가 있다.
• SPECINT는 각 코어의 단일 성능, GeekBench는 복합 성능을 측정한다.
• 사용 패턴에 따라 전성비는 상이할 수 있음
• 일부 게임에서 성능 손실이 있으나 유튜버가 올린 정도는 아님

참고로 당신이 하드 게이머라면 당연히 울트라를 사야지 플러스를 사면 안된다. 이전에 리뷰 했듯이 Angle API의 번역으로 인해 성능, 전성비 측면에서 손해 볼 수밖에 없다. 예를 들어 붕괴 스타레일처럽 opengl로 만들어진 고사양 게임에서는 성능,전성비가 벤치보다 대폭 하락한다. 하드게이머이면서 플러스를 이미 샀다면 라이트모드, 해상도 조정 등을 활용하길 바란다.

1. 유튜브 캡처 ︎
2. SPECINT06 ︎
3. 긱벤치 공식자료 ︎
4. 긱벤치 전류측정 ︎
5. 유저 리뷰 ︎
6. GSM Arena ︎
7. 와인대회 수상 스티커 충격적 결과, 일요신문 ︎

같이보면 좋은글

• S24 모델별 스펙 비교 분석
• 온디바이스 AI 에 대해

The post 전성비 그것이 알고싶다 – S24 appeared first on JIN's BOT.

24년 1월 18일, 갤럭시 S24 의 언팩행사가 열렸다. 이후 벤치마크 결과 등 여러가지 정보가 공개되면서 많은 이들의 관심을 끌고 있다. 이에 따라, 이 포스트에서 갤럭시 S24에 대한 다양한 정보를 정리하고자 한다. 특히, Geekbench6 결과를 바탕으로 모델별 성능 차이, 아이폰과의 성능 차이를 통계적으로 분석해보았다.

스펙 비교

기존에는 노말 제품과 플러스 제품의 차이가 디스플레이,무게말고 거의 없었지만 S24 에서는 꽤 차이가 크다. 그중에서도 디스플레이, 배터리는 사용자 경험에 꽤 영향을 줄만한 요소이다. 디스플레이 종류는 같지만 PPI(Pixel Per Inch)가 418/516 으로 꽤 차이나기때문에 체험해 보면 확실히 느껴진다. 반면, UWB는 아직 탑재된 차량과 도어락이 한정적이기때문에 중요한 차이로 생각되진 않는다.

노말 모델은 램이 8GB 인데 중국 등 해외판에는 12GB 옵션도 존재한다. 램 용량이 크면 리프레시가 줄어들지만, 일반 사용자들은 차이를 체감하기 어렵다. 기업 입장에서 모델 및 생산라인을 단순화 하는건 어쩔수 없지만 국가간 차등은 아쉽다. 게다가 온디바이스 AI 기술이 발전하면서 점차 더 많은 램이 필요하게 될 전망이다.

S24 울트라의 변화점은 광학줌 너프, 티타늄프레임, 디스플레이 재질/코팅 강화를 꼽을 수 있다. 센서가 더 커졌지만 광학줌이 5배로 너프되면서 고배율 촬영에 SW/AI 보정기술을 적용 중이다.하지만 물리적인 렌즈 차이를 극복하긴 힘들기때문에 10배이상에서 유의미한 차이가 발생한다. 현재 동영상, 사진 촬영 시 몇가지 문제들이 확인되었고 개선 SW가 곧 업데이트 된다.

디스플레이는 재질도 고릴라아머로 변경되었고 최대 밝기도 1000니트가량 향상되었다. 또한 새롭게 적용된 반사방지 코팅 성능이 매우 우수하여 강화된 AOD와 함께 좋은 평가를 받고있다.¹ 많은 이들이 디스플레이를 울트라의 최대 강점 중 하나로 꼽고 있다. 플러스(S24+) 모델과 울트라 모델은 S펜, 카메라, 디스플레이, AP에 차이가 크기때문에 자신의 중요도와 비교하여 선택하는 걸 추천한다.

공통 개선점

모든 모델에서 배터리 타임이 비디오 재생 기준 4시간이상 향상되었다. 새로운 디스플레이에 적용된 LTPO기술로 주사율을 1Hz까지 낮출 수 있고 소비 전력도 줄여준다. 따라서 AOD를 상시 켜놓더라도 배터리 소비는 시간당 0.5~1%에 불과한다.² 또한 베이퍼 챔버 면적이 전세대보다 상당히 커지고 패키징 방식, 열전달 물질이 변경되었다. 후술하겠지만 이러한 방열개선덕분에 큰 폭으로 성능이 향상됐다. S24 에서 빼놓을 수 없는 개선점이 AI 다. 갤럭시에는 자체 개발 모델인 가우스와 구글의 제미니 가 AI 모델로 탑재된다. 제공하는 주요 기능에는 ‘실시간 음성/문자 번역‘, ‘문장 제안 ’, ‘요약 ’, ‘AI 이미지 생성/편집/검색’ 등이 있다.³ 사람들이 가장 관심을 보였던 건 실시간 번역기능으로 정확도가 높진 않아도 꽤 빠른속도로 번역된다.⁴ NPU는 카메라 SW에도 적용되어 셔터랙을 S23보다 크게 개선하였다.

이외에 AI 관련 자세한 내용은 다음 포스트에서 다루겠다.

S24 본격 비교

S24 CPU 엑시노스를 어떻게 믿어?

출시 전 노말/플러스 모델에 사용된 엑시노스에 대한 우려가 컸다. 하지만 벤치 결과가 공개되면서 그러한 걱정도 점점 해소되는 중이다. 아직도 결과를 믿지 못하는 분들 그리고 자신의 폰을 벤치마킹 하고싶은 분들을 위해 이 섹션을 준비했다. 사용된 벤치마크 툴은 ‘Geekbench6 ’이고 다른 글들과 달리 Geekbench 결과를 크롤링하여 통계를 내보았다.

우선 가장 중요한 결과를 BoxPlot 해보면 위와 같다. 박스는 Q1값(25%),Q3값(75%)을 나타내고 whisker는 outlier를 제외한 Min,Max 값을 나타낸다. outlier는 대부분 쓰로틀링이 걸린 상황이다. 자신의 Geekbench6 점수가 해당모델의 Q1보다 낮다면 하위 25%인 아쉬운 친구로 이해하자. 명확하게 비교하기 위해 아이폰의 성능을 100%로 놓고 각 모델별 성능을 비교해 보자.

이를 통해 알 수 있는 정보는 다음과 같다.

1. S24 전모델 점수 분포 안정적임
2. S24는 S23U보다 유의미하게 개선됨
3. 플러스 (S24+) 와 노말 모델 간 차이 적음 2.7%
4. 플러스( 엑시노스 2400 ) 와 울트라 모델 ( 스냅드래곤 8gen3 ) 간 차이 5%
5. S24 울트라와 아이폰15프로맥스 성능 차이 4.4%

아이폰 간판모델과 S24 울트라 의 점수 차이가 5%도 안난다는 점에서 놀라는 사람들이 많을것이다. 울트라와 사이즈가 비슷해서 프로맥스 모델을 비교군으로 골랐지만 프로모델의 점수가 더 높다는걸 감안해야 한다. 한편, 엑시노스 2400 과 스냅드래곤 8gen3 의 성능차이가 약 5%에 불과해 선방중이다. 싱글코어 점수는 아이폰이 훨씬 우수하고 모델간 편차는 위와 비슷하다.⁷ 온도,전성비도 같이 비교하면 좋겠지만 GeekBench 사이트에서 확인할 수 없었다. 공개된 정보에 따르면 두가지 다 나쁘지 않은 수준이다.⁸ 엑시노스2400의 전성비는 8gen2 와 8gen3 중간으로 추정된다.

유명 인플루언서 골댕좌의 리뷰에서는 8gen2보다 전성비가 떨어지는걸로 나오는데 벤치프로그램 차이때문일 수 있다. 기존 유튜버들은 전성비 검증에 Geekbench를, 골댕좌는 SPEC을 사용하는데 둘의 구성내용이 상이하다. 정리하자면 개개인의 사용패턴에 따라 전성비 부분은 달라질 수 있다. 자세한 이야기는 새로운 포스트에 정리했다.

GPU 및 NPU

3DMark나 원신으로 평가하는데 공개된 결과도 CPU와 크게 다르지 않다.⁹ 3DMark 점수는 오히려 24 모델들이 15프로맥스를 상회하는 반면 원신에서의 FPS는 떨어진다. 원신과 같은 모바일 게임들은 Vulkan API에 대해 최적화되지 않았기때문에 OpenGL을 사용한다. 그런데 S24의 AMD GPU는 OpenGL을 Native로 사용할 수 없고 ANGLE API를 통해 Vulkan으로 번역한다. 현재 번역과정 중 손실로 벤치마크 대비 실성능이 떨어지지만 향후 ANGLE 이 최적화 되면서 실성능도 향상될 것이다. 공개된 원신벤치자료에 따르면 프레임 드롭 역시 직후에 정상 FPS로 회복되기때문에 API의 문제로 보인다. 레이트레이싱은 mRDNA3 기술이 접목되어 벤치마크, 실성능 둘다 아이폰보다 뛰어나다. 하지만 안타깝게도 이를 활용한 게임이 많이 없어 소비자가 체감하긴 힘들다.

NPU의 경우 MLperf V2.1 기준 S23대비 엑시노스2400은 평균 30%정도 성능이 향상되었다. 아직 울트라 모델의 MLperf 성능은 공개되지 않았지만 선공개된 V3.1 벤치들을 기준으로 계산해보면 엑시노스2400 대비 8gen3은 평균 약 6% 정도 성능이 향상되었다.

가성비 최고 AP를 찾아라

이번에는 AP 가성비를 비교해보자. 멀티코어 평균 점수를 출고가격을 기준으로 나누어 보았다.

이전보다 가격대비 멀티코어 성능이 크게 향상된 건 고무적인 성과이다. 특히 노말 모델의 가성비가 뛰어났는데 모델 간 AP성능 편차가 가격 차이보다 적다는 의미이다. 퀄컴의 스냅드래곤은 8gen2 에서 이미 160$에 달했고 계속 가격을 올렸기 때문에 엑시노스에 사활을 걸 수 밖에 없었다. 엑시노스2400 적용은 삼성에게도 모험이었으나 생산자, 소비자 둘다에게 Win-Win이 되었다. 실사용까지 고려할 때 엑시노스 2400의 성능은 8gen3보다 약간 떨어지지만 가성비는 오히려 더 뛰어나다.

위 결과와 별개로 모델 간의 옵션차이가 심하기때문에 AP가성비가 제품 가성비를 의미하지는 않는다. 따라서 중요하게 참고하되 위에 적은 모델 간 차이점을 같이 고려하길 바란다. 플러스 모델은 아이폰 15프로맥스와 스펙이 비슷하기 때문에 가성비가 더 좋은것으로 보인다.

결론

• S24 는 S23 대비 성능, 옵션 면에서 크게 개선되었다.
• 갤럭시 의 전체적인 성능이 애플 기기에 근접했다.
• 모델 간 편차가 큰 편이니 잘 알아보고 구매하라

구매의 적기는 언제?

번호 이동 시에는 변수가 워낙 많기때문에 자급제 기준으로 이야기하겠다. 사전예약에 존재하는 더블스토리지 혜택은 512기가 기준 15만원, 1테라 기준 28만원의 효과를 가진다. 그외에도 각종 혜택이 붙어있기때문에 S23 역시 사전예약 때보다 할인 된 경우는 한번도 없었다. 스토리지를 많이 안 쓰더라도 감가에 영향을 주기때문에 꼭 사전예약으로 구매하길 추천한다. 사전예약은 여러 경로에서 가능한데 좋은 혜택은 스팟성으로 반짝 할인하므로 커뮤니티를 예의주시 해야한다. 사전예구 혜택 중 하나는 삼성케어플러스와 버즈할인권인데 금전적 가치는 삼케플이 더 높다.

1. 이미지링크 ︎
2. 유튜브 ︎
3. 링크 ︎
4. 데일리안, 인터넷뉴스 ︎
5. S24는 24년 결과, S23U와 프로맥스는 최근 250개 결과 ︎
6. 24년1월 23일 기준 ︎
7. GeekBench6 싱글코어 점수 비교 ︎
8. 링크 ︎
9. 3DMark WildLife Extreme비교,(원신벤치, 번역) ︎
10. 아래 표 참조 ︎

관련글

• S24 전성비에 대해
• 온디바이스 AI 에 대해

The post S24 모델별 스펙 및 AP성능 appeared first on JIN's BOT.

빙 에 앞서 지난 글에서 GPT-4 에 대해 소개했다.

유료 사용자에게만 공개된 GPT-4 를

무료 로 사용해볼 방법 은 없을까?

다행히 존재하는 딱 한가지 수단이 바로 뉴 빙 이다.

마이크로소프트는 3월 14일 공식 블로그 를 통해

뉴 빙 에서의 GPT-4 의 사용을 공식화 했다.

물론 chat GPT 에 사용되는 것과 동일한 모델은

아니고 검색 엔진에 맞게 Fine Tune 되어있다.

공식 문서에서도 ‘뉴 빙 ‘과 ‘빙챗 ‘

두가지 이름이 혼용되고 있다.

공식 명칭은 뉴 빙 이 맞으며 빙챗 은

이에 속하는 기능 중 하나로 보면 된다.

뉴 빙 은 신청자에 한해 체험해볼 수 있고

나는 몇분 안되어 등록되었다.

뉴 빙 특징 , 차이점

가장 큰 차이점은 웹 크롤링 여부이다.

빙에 사용된 모델 프로메테우스 는

웹 크롤링이 가능하다.

따라서 GPT 에 비해 최신 정보를 제공하고

학습되지 않은 정보에 대해서도 답변할 수 있다.

대신 GPT-4 를 사용하기때문에 GPT-3.5를 사용하는

chatGPT 에 비하면 답변이 다소 느리다.

그리고 크롤링 된 정보는출처를 명확히 링크로 첨부해준다.

사용자는 출처를 보고 정보의 사실, 최신 여부를 판단 가능 하다.

물론, 모든 페이지가 빙 에서 크롤링 되는 것은

아니고 단순 블로그 글도 참조하니 너무 믿지는 말자.

무료인 만큼 채팅횟수 에 제한이 있다.

채팅은 하루당 150개, 세션당 15개 로 제한된다.

어차피 15번 이상 대화가 지속될 일도 거의 없고 뉴 빙 의

특성 상 대화가 길어질수록 이상한 답변을 할 가능성이 높아진다.

빙챗 은 GPT의 Temperature에 해당하는Tone을

창의적 , 균형 잡힘, 정확함 중에 고를 수 있다.

찾고자하는 정보 앞에 #search 를 앞에 붙이면

검색 모드가 되어 좀 더 정확하고 최신 정보를 제공해준다.

뉴 빙 코파일럿 기능까지?

엣지 사이드바

엣지를 최선버전으로 업데이트하면 뉴빙 을

사이드바에서 사용할 수 있다.

단순 채팅 기능 뿐만 아니라 두가지 기능이 추가 되었다.

첫번째는 초안 작성 기능이다.

작성할 주제, 톤, 포맷, 길이에 대한 지정이 가능하다.

기본 포맷은 일반 글, 이메일, 블로그, 개괄형 4가지가 제공된다.

영어로 주제를 던져주면 쓸만한 퀄리티의 글이 작성된다.

한글로도 잘 되지만 학습자료가 부족한만큼 퀄은 조금 떨어진다.

두번째 기능은 분석 및 요약이다.

일반 페이지의 경우 해당 사이트나 페이지의

연관페이지, 평가 및 트래픽을 보여준다.

그리고 CNN, 뉴욕 타임즈, 워싱턴 포스트와 같은

영어권 주요 매체들은 요약 기능까지 제공한다.

기사를 클릭해보면 해당 기사에 대한

요약, 연관 Q &A를 표시해준다.

안타깝게도 한글 매체는 요약 기능을 지원하지않았다.

확인해보니 중앙일보, 조선일보 영문 사이트 정도에서

Q &A 기능이 활성화되었다.

이미지 생성 기능

3월 21일 기준 빙 의 이미지 생성 기능 이

대중들에게공개되었다.

뉴빙 신청자의 경우만 사용할 수 있고

이 링크에서 서비스를 이용할 수 있다.

한 때 생성 AI 붐을 일으켰던 DALL E 를

빙 에서도 사용할 수 있게 되었다.

최상단 이미지가 “Screen Headed Robot, Anime cartoon ”이라는

프롬프트 결과물을 살짝 수정한 것이다.

제공되는 그림은 JPG, 1024 x 1024px로 저장하거나 공유할 수 있다.

부스트 코인이 있을 때는 수초 내에 결과물이 나오고

없을때는 최대 45초까지 걸릴 수 있다고 한다.

현재는 사용자가 적어 코인이 없어도

10초이내에 그림이 나온다.

일주일에 10개의부스트코인을 제공하고

검색 등 다양한 행위의 리워드로 추가 코인을 받을 수 있다.

체험자가 늘기전에 체험해보길 추천한다.

오피스와 코파일럿의 결합

위 유튜브 와 공식 블로그를 통해 오피스 365 에

차세대 생성 AI가 적용될것이라 발표 했다.

간단한 명령어 만으로 초안, 템플릿 등의

생성이 가능해 업무 효율을 크게 올려줄 것이다.

어느정도 까지 가능할 지 대중들의 반응이 뜨거운 가운데

현재 20개 고객사에서 베타 테스트중이다.

마이크로소프트 365 구독자에게 제공될 것으로 보인다.

Github처럼 코파일럿 기능에 추가적인 비용이

발생할 것으로 보이나 아직 확정된 것은 없다.

관련글

• GPT-4 뭐가 달라 졌을까?
• GPT3.5 Turbo – ChatGPT python API 소개
• chat GPT 하이브리드 앱 만들기 C# python
• chatGPT 한계점과 대체재에 대해

The post 빙 생성 AI 까지 넘보는 중 appeared first on JIN's BOT.

간단하게 분석 글을 작성한다.

현재 GPT-4 는 유료 서비스인 ChatGPT plus

구독자에게만 제공되고 있다.

크게 달라진 점을 선요약 하자면 다음과 같다.

• 이미지에 대한 입력이 가능해짐
• 다양한 종류의 시험에서 성적이 향상됨
• 다양한 벤치마크에서의 성능이 향상됨
• 차별적이고 유해한 컨텐츠를 걸러내는 기능이 강화됨

많은 전문가들이 GPT-4의 parameter 수 는

GPT-3 / 3.5 와 큰 차이 없을 것으로 본다.

Parameter 를 증가시켜서 얻을 수 있는 이득이

증가할 computational cost 에 비해 크지 않기 때문일 것이다.

따라서 질의 응답 성능에서는 큰 개선을 느끼기 어려운 대신

일부 기능이 강화되거나 추가되었다.

참고로 GPT-4 역시 대부분 21년 9월까지의

데이터들로 학습되었다.

그러므로 학습되지 않았을만한 내용이나

추론하기 어려운 내용을 묻고 실망하지 말자.

몇번이나 이야기하지만 GPT-4 에

입력되지 않은 정보에 제대로 답할 수 없다.

GPT-4 특징 자세히 설명해봐

효율적인성능 예측이 가능해짐

GPT-4 논문 가장 앞에 나오는 개선점 이며

그만큼 주요한 포커스중 하나 이다.

연구진은 위 그래프를 통해 computing cost 와 loss 사이의

간단한 상관관계를 구할 수 있었다.

GPT-3~4 에 해당하는 모델들은 Computing cost 가

너무 크기때문에 알고리즘 평가, Fine tuning 이 효율적으로 이루어지기 어렵다.

반면, 이러한 상관관계를 이용한다면 Computing cost 가

1000~10000배 적은 모델로원본 모델의 성능을 예측할 수 있다.

즉, GPT-4 는 소형 모델을 이용해 같은 자원으로

더 많은 알고리즘 및 Fine tuning 을 평가할 수 있다.

이 방법을 이용했기때문에 비교적 짧은 시간 안에

GPT-4 가 나올 수 있었을 것이다.

이렇듯 향후 개선을 위해 가장 중요한 포인트 인데

아직까지 제대로 설명한 기사나 분석글 은 없었다.

참고로 openai 의 모델에 대해 보다 효율적인 벤치마킹을

할 수 있도록 evals라는 프레임워크를 오픈소스로 공개했다.

해당 툴을 이용해 일반 사용자들도 자유롭게

새로운 평가 기준, 방법을 제시할 수 있다.

추론성능이 강화됨

위 그래프에서 볼 수 있듯이 대다수의 시험에서

성적이 개선되었다.

정확히 어떤 부분이 개선되었는지는

다음 예제를 통해 유추할 수 있다.

같은 질문에 대해 GPT-3.5 는 그럴듯하지만 틀린 답을

GPT-4 는 정확한 답을 내놓았다.

이 예제에서 볼 수 있듯이 GPT 모델은 실제로

지능이 있는 건 아니기 때문에 추론 문제에 취약했다.

정확한 방법은 설명 되지 않았지만 GPT-4 에서는

특정 유형의 추론 문제에 대해 학습이 이루어진 것으로 보인다.

따라서 학습된 형태의 문제에 대해서는

비교적 정확한 답변이 가능하다.

이미지에 대한 입력이 가능해짐

질문) What is funny about this image? Describe it panel by panel.

VGA 커넥터의 외관을 사용한 라이트닝 케이블 사진을

어느정도 이해하고 설명했다.

이외에도 간단한 문제의 diagram 이나

카툰 에 대한 분석, 답변이 가능하다.

이와 같이 GPT-4는 사진 상 물체의classification &location이

가능하고 이를 통해 상황을 추론할 수 있다.

물론, 이번에 도입되는 기능인 만큼 일부 데이터셋 에서는

현재 최고 기술 보다 성능이 떨어진다.

8개의 데이터셋에 대해 accuracy가 평균적으로 68%에서 76%로 향상되었으나

2개의 데이터 셋에서는 7% 가량 하락하였다.

다양하게 활용할 수 있겠지만

선공개된 기능에는 포함되지 않았다.

이외의 소소한 개선

입력가능한 토큰이 최대 8k개로 증대 되었고

별도 모델을 사용할 경우 최대 32k개(단어 25k개)까지 가능하다.

예전보다 긴 문서의 번역이나 요약에 활용할 수 있다.

보다 세세한 역할 부여가 가능해졌다.

예제에서는 답을 직접적으로 알려주지 않는튜터,

셰익스피어처럼 말하는 해적 등을 보여주었다.

마지막으로 필터링 우회를 방지하기 위한 기술이 추가되었다.

상당 수 막은것으로 보이나 아직 완벽하지는 않다.

그럼 GPT-4 의 한계점은 뭐야?

거짓 답변을 내놓는 Hallucination에 대한 성능이

개선되었지만 아직 완전히 잡지는 못했다고 한다.

참고로 GPT-4 역시 대부분 21년 9월까지의

이야기도 있다.

참고로 GPT-4 역시 대부분 21년 9월까지의

데이터들로 학습되었다.

그러므로 학습되지 않았을 내용이나 추론하기 어려운 내용을 물으면

당연히 이상한 답변이 나온다.

GPT-4 의 성능이 안좋거나 한계점 이 아니라

그냥 사용자가 이상한 질문을 한것이다.

참고로 다국어 입력에 대한 성능도 강화되었지만

성능차이는 여전하기때문에 가능하면 영어로 질문하라.

유해하거나 차별적, 공격적인 컨텐츠에 대한

필터링이 강화되었으나 문제는 그 과정에 있다.

타임지에 따르면 해당 작업은 케냐의 노동자들에게

아웃소싱되었고 2$의 시급이 지불되었다.

케냐의 평균 임금과 비교했을 때 시급이 높은 편이지만

업무강도 및 정신적 고통이 상당했다고 한다.

기존에는 텍스트만 판별했다면 2월부터는 유해 이미지까지

판별하게 만들어 고통이 가중되었다.

결국, openAI 는 해당 아웃 소싱업체와의

계약을 예정보다 일찍 끝마쳤다.

최근 다양한 분야에서 공정 무역 에 대한 관심이

커진 만큼 이에 대한 대책이 필요하다.

GPT-4 API 는 언제 나와?

python api 는 아직 공개되지 않았고

대신 알림메일을 발송해준다고 하니 등록하자.

기본 모델도 가격이 비싸지만 32k 모델은 그것보다 2배비싸다.

참고로 gpt-3.5-turbo 는 1k 토큰당 0.002$

gpt-3.5 ( 다빈치 )는 0.02$이었다.

그리고 기본적으로 분당 토큰 40k개 &요청 200개의 리밋이 걸려있다.

마지막으로 개발자의 라이브스 데모를 첨부하며 글을 마친다.

관련글

• chat GPT 하이브리드 앱 만들기 C# python
• GPT3.5 Turbo – ChatGPT python API 소개
• chatGPT 한계점과 대체재에 대해
• GPT-3.5 python에서 사용하기
• 빙 생성 AI 까지 넘보는 중

The post GPT-4 뭐가 달라 졌을까? appeared first on JIN's BOT.

한두번 사용하기엔 상관없지만

매번 python 파일을 수정하는 건 번거롭고 바람직하지 않다.

간단하게 터미널에서 입력을 받아도 되지만

자유도, 활용도를 높이기 위해 GUI 를 구축해보자.

GUI 글에서 언급 했던 것처럼 웹앱을 만들어도 되지만

이번에는 데스크탑 앱을 만들어 보겠다.

그리고 보통 많이 사용되는 tkinter 나 PyQt 가 아니라

C# ( 닷넷 ) 을 활용해보자.

Python 으로 C#앱을 만든다고?

pythonnet 패키지를 이용하면

파이썬 에서 C# 코드를 간단하게 사용할 수 있다.

하지만 Windows Forms 까지 사용해본 사람은 드물 것이다.

다음에 해당하는 사람에게 이 가이드를 추천한다.

• Visual Studio (닷넷) 를 써보았다.
• C# 앱을 개발해봤다.
• tkinter 보다 복잡한 레이아웃을 만들고 싶다.
• 바이너리 크기를 최소화 하고 싶다.

이 방식은 기본적으로 닷넷 프레임워크를 사용하기때문에

바이너리 크기가 작은 장점이 있다.

기본적으로 간단한 UI는 CLI 환경에서

개발하는걸 추천한다.

만약 복잡한 UI를 개발할 거라면 Visual Studio로

UI 코드를 만든 후 포팅하길 바란다.

Chat GPT 앱 코드

설치 되어야 하는 필수 패키지는 다음과 같다.

• pythonnet

c함수 사용을 위한 ctypes 는 표준 함수라

설치 안해도 되지만 pythonnet ( c# ) 은 별도로 설치해야한다.

UI를 정의하는코드와 실행 코드를 나누었다.

우선 UI 코드를 설명하겠다.

#myform.py
import clr
clr.AddReference("System.Windows.Forms")
clr.AddReference('System.Drawing')
clr.AddReference('System')
from System.Windows.Forms import *
from System.Drawing import *

from concurrent.futures import ThreadPoolExecutor
import requests

# chatGPT
URL = "https://api.openai.com/v1/chat/completions"
headers = {"Authorization": "Bearer 발급받은API키",
           "Content-Type": "application/json"}


def task(form):
    if form.query != '':
        messages = [{"role": "system", "content": "You are a helpful assistant."}]
        if form.assist != '':
            messages.append({"role": "assistant", "content": form.assist})
            form.log.write(f'Assist:{form.assist}\n')
        messages.append({"role": "user", "content": form.query})
        Data = {"model": "gpt-3.5-turbo", "messages": messages, "temperature": form.temp,
                "max_tokens": form.max_token}
        res = requests.post(URL, headers=headers, json=Data)
        form.answer = res.json()['choices'][0]['message']['content']

        form.log.write('Q:' + form.query + "\n")
        form.log.write('A:')
        form.log.writelines(form.answer + "\n")
        form.log.write("\n")
        form.abox.Text = form.answer
        print('result arrived')
    else:
        MessagBox.Show("Query is empty")


class MyForm(Form):
    def __init__(self, temp, max_token, lq, la, log):
        self.log = log
        self.temp = temp
        self.max_token = max_token
        self.lq = lq
        self.la = la
        self.exe = ThreadPoolExecutor(max_workers=2)
        super().__init__()
        c_w = 1000
        c_h = 1000

        self.ClientSize = Size(c_w, c_h)

        self.pn = TableLayoutPanel()
        self.pn.RowCount = 3
        self.pn.ColumnCount = 1
        self.pn.ColumnStyles.Add(ColumnStyle(SizeType.Percent, 100.0))
        self.pn.RowStyles.Add(RowStyle(SizeType.Percent, 10.0))
        self.pn.RowStyles.Add(RowStyle(SizeType.Percent, 20.0))
        self.pn.RowStyles.Add(RowStyle(SizeType.Percent, 70.0))
        self.pn.Dock = DockStyle.Fill

        self.pn1 = TableLayoutPanel()
        self.pn1.RowCount = 2
        self.pn1.ColumnCount = 2
        self.pn1.ColumnStyles.Add(ColumnStyle(SizeType.Percent, 50.0))
        self.pn1.ColumnStyles.Add(ColumnStyle(SizeType.Percent, 50.0))
        self.pn1.RowStyles.Add(RowStyle(SizeType.Percent, 20.0))
        self.pn1.RowStyles.Add(RowStyle(SizeType.Percent, 80.0))
        self.pn1.Dock = DockStyle.Fill

        self.pn2 = TableLayoutPanel()
        self.pn2.RowCount = 2
        self.pn2.ColumnCount = 3
        b_width = 7.5
        self.pn2.ColumnStyles.Add(ColumnStyle(SizeType.Percent, b_width))
        self.pn2.ColumnStyles.Add(ColumnStyle(SizeType.Percent, 100 - 2 * b_width))
        self.pn2.ColumnStyles.Add(ColumnStyle(SizeType.Percent, b_width))
        self.pn2.RowStyles.Add(RowStyle(SizeType.Percent, 50.0))
        self.pn2.RowStyles.Add(RowStyle(SizeType.Percent, 50.0))
        self.pn2.Dock = DockStyle.Fill

        self.lbl = Label()
        self.lbl.Text = f'Temperature={temp}'
        self.lbl.TextAlign = ContentAlignment.MiddleCenter
        self.lbl.Dock = DockStyle.Fill
        self.lbl2 = Label()
        self.lbl2.Text = f'Max token={max_token}'
        self.lbl2.TextAlign = ContentAlignment.MiddleCenter
        self.lbl2.Dock = DockStyle.Fill
        self.trb = TrackBar()
        self.trb.Dock = DockStyle.Fill
        self.trb.Maximum = 20
        self.trb.Minimum = 0
        self.trb.TickFrequency = 1
        self.trb.LargeChange = 2
        self.trb.SmallChange = 1
        self.trb.Value = int(temp * 10)
        self.trb.Scroll += self.temp_moved
        self.trb2 = TrackBar()
        self.trb2.Dock = DockStyle.Fill
        self.trb2.Maximum = 1000
        self.trb2.Minimum = 0
        self.trb2.TickFrequency = 100
        self.trb2.LargeChange = 200
        self.trb2.SmallChange = 100
        self.trb2.Value = max_token
        self.trb2.Scroll += self.token_moved

        self.lbl3 = Label()
        self.lbl3.Text = 'Assitant:'
        self.lbl3.TextAlign = ContentAlignment.MiddleCenter
        self.lbl3.Dock = DockStyle.Fill
        self.txtbox = TextBox()
        self.txtbox.Dock = DockStyle.Fill
        self.txtbox.Multiline = True
        self.txtbox.Text = la

        self.lbl3_2 = Label()
        self.lbl3_2.Text = 'Query:'
        self.lbl3_2.TextAlign = ContentAlignment.MiddleCenter
        self.lbl3_2.Dock = DockStyle.Fill

        self.txtbox_2 = TextBox()
        self.txtbox_2.Dock = DockStyle.Fill
        self.txtbox_2.Multiline = True
        self.txtbox_2.Text = lq
        self.button1 = Button()
        self.button1.Text = "Clear"
        self.button1.ForeColor = Color.Black
        self.button1.Dock = DockStyle.Fill
        self.button1.Click += self.clear_clicked
        self.button2 = Button()
        self.button2.Text = "Send"
        self.button2.ForeColor = Color.Black
        self.button2.Dock = DockStyle.Fill
        self.button2.Click += self.send_clicked

        self.abox = TextBox()
        self.abox.Dock = DockStyle.Fill
        self.abox.Multiline = True
        self.Controls.Add(self.pn)
        self.pn1.Controls.Add(self.lbl, 0, 0)
        self.pn1.Controls.Add(self.lbl2, 1, 0)
        self.pn1.Controls.Add(self.trb, 0, 1)
        self.pn1.Controls.Add(self.trb2, 1, 1)

        self.pn2.Controls.Add(self.lbl3, 0, 0)
        self.pn2.Controls.Add(self.txtbox, 1, 0)
        self.pn2.Controls.Add(self.button1, 2, 0)
        self.pn2.Controls.Add(self.lbl3_2, 0, 1)
        self.pn2.Controls.Add(self.txtbox_2, 1, 1)
        self.pn2.Controls.Add(self.button2, 2, 1)

        self.pn.Controls.Add(self.pn1, 0, 0)
        self.pn.Controls.Add(self.pn2, 0, 1)
        self.pn.Controls.Add(self.abox, 0, 2)

    def run(self):
        Application.Run(self)

    def send_clicked(self, sender, args):
        self.assist = self.txtbox.Text
        self.query = self.txtbox_2.Text

        self.exe.submit(task, self)

    def clear_clicked(self, sender, args):
        self.txtbox.Clear()
        self.txtbox_2.Clear()
        print('Cleared')

    def temp_moved(self, sender, args):
        self.temp = self.trb.Value / 10.0
        self.lbl.Text = f'Temperature={self.temp}'

    def token_moved(self, sender, args):
        self.max_token = int(self.trb2.Value)
        self.lbl2.Text = f'Max Token={self.max_token}'

task 함수에서 쿼리 요청 및 수신을 처리하고

수신된 결과를 로그에 기록한다.

사용되는 메세지의 구조 는 이전글을 참고하라.

ThreadpoolExecutor ( 멀티 스레드 ) 를 사용해

task 함수는 UI 와 별도 스레드에서 실행 된다.

Async 로도 짜보았지만 수신에 시간이 걸릴 경우

UI 스레드가 freeze 된다.

Qthread 처럼 System.Threading 의

Thread함수를 사용해도 된다.

init 함수에서 UI 요소를 설정하는 건

C# 과 동일하며 코드도 거의 일치 한다.

TableLayoutPanel 을 이용해 레이아웃을 만들었고

TrackBar , Label , Button , TextBox 를 사용했다.

각 함수의 초기화 코드 및 사용법은 인터넷에

잘 나오니 따로 설명하지 않겠다.

버튼, 트랙바에 사용되는 callback 함수도

코드에 나온대로 매우 간단하게 짤 수 있다.

실행 코드는 더욱 더 간단하다.

#Only for python embed
import sys
sys.path.append('.')

import csv
from myform import MyForm

log=open('log.txt','a+')
try:
    f=open('cfg.csv','r')
    r=csv.DictReader(f,delimiter=';')
    cfg=dict(r.__next__())
    f.close()
    temp=float(cfg['Temperature'])
    max_token=int(cfg['MaxToken'])
    lq=cfg['LastQuery']
    la=cfg['LastAssist']
except:
    temp=0.1
    max_token=100
    lq=''
    la=''
a=MyForm(temp,max_token,lq,la,log)
a.run()
a.Dispose()
if hasattr(a,'query'):
    with open('cfg.csv','w') as f:
        wr=csv.DictWriter(f,fieldnames=["Temperature","MaxToken","LastQuery","LastAssist"],delimiter=';')
        wr.writeheader()
        wr.writerow({"Temperature":a.temp,"MaxToken":a.max_token,"LastQuery":a.query,"LastAssist":a.assist})
log.close()
print('')

path.append는 embeddable python 에만 필요하다.

그리고 필수적인 요소는 아니지만 참고를 위해

cfg.csv에 마지막으로 사용한 쿼리를 저장한다.

Assistant에 입력할 내용은 사전정보나

chat GPT 의 이전 답변이며 비워두어도 된다.

Query 에 질문을 적으면 된다.

로그 파일에 쿼리 들 과 답변을 기록한다.

이정도면 chat GPT 의 GUI 하이브리드 앱

코드에 대한 충분한 설명이 되었으리라 본다.

이 앱 은 openai 에 로그인 하기 귀찮은 사람이나

차단된 곳에서 활용하기 유용할 것이다.

30분만에 대충 짠 코드이니 UI, 성능에 대한

최적화는 직접 해보길 바란다.

(23.08.17 update)

Textbox에서는 \n 대신 \r\n을 사용해야한다.

이전글

• GPT3.5 Turbo – ChatGPT python API 소개
• chatGPT 한계점과 대체재에 대해
• GPT-3.5 python에서 사용하기( Temperature 에 대한 설명)
• GUI 라이브러리 소개 python
• GPT-4 뭐가 달라 졌을까?
• 빙 생성 AI 까지 넘보는 중

The post chat GPT 하이브리드 앱 만들기 C# python appeared first on JIN's BOT.

순수 GUI 라이브러리

• PyQt, PySide

QT는 본래 C++ 환경에서 사용가능하게 만들어진 프레임워크이다.

Qt Designer를 통해 Visual studio 처럼 GUI환경에서 UI를 만들 수 있는게 특징이다.

리눅스, 윈도우 등 크로스 플랫폼으로 사용할 수 있고

python, ruby 등의 언어와 붙일 수 있다는게 장점이다.

이중 python bindg인PyQt는 python에서

가장 대중적인 GUI 라이브러리 중 하나이다.

따라서 예제가 풍부하고 사용도 간편한 장점이 있지만

GPL 에 의해 배포시 소스코드를 공개해야하며 싫다면

상업용 라이센스를 구매,구독해야한다.

이에 반하여 Qt의 원저작자가 LGPL로 만든것이 PySide이다.

자세한 내용은 꺼무위키를 참고하길 바란다.

그러므로 배포할 계획이 있다면 제약이 적은  PySide를 사용하는게 바람직하다.

참고로 두 라이브러리는 사용법이 거의 같지만 관리하는 주체가 다르다.

• Tkinter

Tkinter 는 PyQT 와 함께 가장 많이 사용되는

GUI 라이브러리 중 하나이다.

Python 표준 라이브러리 에 해당하기때문에

Windows에서는 Python 설치시 같이 설치된다.

리눅스와, 윈도우, 맥 에서 사용가능하며   QT에 비해 저용량, 저사양이다.

실행파일의 크기도 작고 실행속도도 빠르기때문에

간단한 python 앱을 만들 때 자주 사용된다.

그러나 CLI 환경에서 디자인 해야하고 투박하며 기본 tkinter 의 편의성이 떨어진다.

예를 들어 표의 기능을 사용하고 싶다면 tksheet이라는

애드온 라이브러리를 설치해야 한다.

이외에도 wxPython, Kivy 등의 라이브러리가 많이 사용된다.

요즘 대세 = 웹앱

최근에는 위와 같은 전통적인 GUI 라이브러리보다

대시보드 형태의 웹앱 라이브러리가 각광 받고 있다.

• Dash

Dash는 flask, Plotly, React 등을 활용해 만들어진 GUI 라이브러리다.

잘 꾸밀 경우 상당히 유려하고 다양한 기능을 제공하며

SPA(Single Page Application) 라이브러리  중 가장 인지도가 높다.

그런 만큼 예제도 풍부하고 문서화도 잘 되어있다.

다만 Tkinter 처럼 CLI환경에서 디자인을 해야하고

HTML에 대한 지식이 약간 필요한게 단점이다.

또, 구성 요소가 많아질 경우 예쁘게 배치하는게 까다롭거나 번거롭다.

그래도 속도 하나만큼은 후술할 라이브러리에 비해서 빠르기때문에

대량의 데이터를 plot 하거나 Rendering 할 때 유리하다.

정적인 이미지 파일로도 export 가능하지만 Jupyterlab, 웹앱 등으로

interactive graph 를 그릴 때 가장 빛을 발한다.

• Streamlit

Dash와 비슷한 친구인데 사용법이 좀 더 간편하다.

사용자도 계속 늘어 Dashboard 계열 GUI 라이브러리 중

가장 관심받는 신성이다.

Dash보다 좀 더 간단한 그래프, 표를 나타나는데 적합하며

HTML에 대해 잘 몰라도 상관없다.

다만 설치 시 많은 의존성을 가지기 때문에 배포시 문제가 될 수 있다.

그리고 streamlit 앱 (streamlit.cli) 을 통해 실행되기때문에

이에 대한 설정, 디버깅이 번거롭다.

• Bokeh

Dash 와 유사한 라이브러리로 Panel, Dask 등을 이용해

다양한 기능을 제공한다.

기본 레이아웃들이 Dash에 비해 유려하지만

특색있고 예쁘게 customize 하기는 어렵다.

반면 Dash는 html 과 React 를 이용해 만들어졌기때문에

전문가가 붙으면 빠르고 쉽게 꾸밀 수 있다.

Bokeh는 Jupyterlab에 좀더 특화되었고 Dash는 웹앱에

좀 더 장점을 가진다.

수만개 이상의 데이터를 plot할 때는 Dash보다 상당히 느리다.

현재의 github stars , 다운로드는 링크를 참고하라.

다음에는 Dash 를 이용한 GUI 구축에 대해 적겠다.

python 관련글

• 30분만에 나스닥 기업 주가 예측
• GPT-3.5 python에서 사용하기
• GPT3.5 Turbo – ChatGPT python API 소개
• chat GPT 하이브리드 앱 만들기 C# python

The post GUI 라이브러리 소개 python appeared first on JIN's BOT.

그리고 ChatGPT 의 모델인 GPT3.5 Turbo 가 드디어 공개되었다.

이에 따라 변경된 python 사용법, 특징에 대해 소개하겠다.

GPT3.5 Turbo python 코드

openai 패키지를 설치하거나 업데이트 후에

다음과 같이 사용한다.

import openai
openai.api_key ="발급받은 API키"
completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo", 
  messages=[{"role": "user", "content": "Tell the world about the ChatGPT API in the style of a pirate."}]
)
print(completion)

기존 Completion 에서 ChatCompletion 으로 바뀌었고

model이 gpt-3.5-turbo 로 바뀌었다.

마지막으로 prompt 가 messages로 바뀌었고

role이라는 인자가 추가되었다.

자세한 내용은 custom API 로 추가 설명하겠다.

import requests
import json
headers={"Authorization":"Bearer 발급키","Content-Type":"application/json"}
link="https://api.openai.com/v1/chat/completions"
messages=[        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Who won the world series in 2020?"},
        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
        {"role": "user", "content": "Where was it played?"}]
data={"model": "gpt-3.5-turbo", "messages": messages, "temperature": 0.2, "max_tokens": 300}
res=requests.post(link,data=json.dumps(data),headers=headers)
print(res.json()['choices'][0]['message'])

위 예제에서 볼 수 있듯이 이제 message를 복수개 보낼 수 있다.

system을 통해 GPT의 역할을 지정하는 것이고

user 는 사용자의 입력을 나타낸다.

마지막으로 assistant 는 이전 대답 혹은 사전 정보 를 의미한다.

나머지 parameter 는 이전과 동일하니 이전글 혹은

링크를 확인하길 바란다.

GPT3.5 용도

openai 에서는 가이드를 통해 다음과 같은 사용을 추천하고 있다.

• 이메일 이나 문서의 초안 작성
• 파이썬 코드 작성
• 문서에 담긴 정보에 대해 질의 응답
• 챗봇 생성
• 소프트웨어 자연어 인터페이스 추가
• 다양한 주제에 대한 tutor
• 번역
• Simulate characters for video games and much more

번역에 대해서는 다음과 같이 message를 작성하면 된다.

text='텍스트'
messages=[{"role": "user", "content": f'Translate the following English text to Korean: {text}'}]

이전 모델과 차이가 뭐야?

가격이 1/10 수준으로 저렴해졌다.

기존 GPT3.5 모델은 1000토큰 당 0.02$이었지만

GPT3.5 Turbo는 1000토큰 당 0.002$이다.

그리고 추가 학습 ( fine tuning ) 에 대한

API는 아직 공개되지 않았다. ( 23.03.01 기준)

따라서 커스텀 모델이 필요한 경우에는

기존 모델을 사용해야 한다.

그리고 GPT3.5 Turbo 에 입력된 데이터는

30일간 저장된다고 명시 되었다.

데이터 사용에 대한 정책은 다음 링크를 참조하라.

개인 정보를 입력했을 경우 삭제 요청을 할 수 있다.

또, 차별 및 성희롱에 대한 판단 기능을

추가적으로 사용할 수 있으니 다음 가이드를 참고하라.

이외에도 음성 텍스트 변환 및 번역 모델인

Whisper 모델이 개선되었다.

개선 모델의 사용료는 분당 0.006$로 굉장히 저렴하고

다양한 언어와 포맷을 지원한다.

자세한 내용은 다음 링크에서 확인할 수 있다.

GPT3.5 의 경쟁자는?

다른 글에서 meta ( facebook ) 의 OPT 모델에 대한 이야기를 했다.

meta 에서도 최근 새로운 모델인 LLaMA 를 제시했다.

가장 큰 모델이 65B 라 실망할 수도 있지만

학습 방법의 개선으로 성능은 이전 모델보다 뛰어나다고 한다.

논문에 따르면 GPT3 (구모델) 보다 나은 성능을 보인다.

성능 대비 요구 Parameter 가 줄었기 때문에 일부 모델은

3090, 3090S로 구동할 수 있을 것이다.

예를 들어 7B 모델은 max_batch_size를 1로 조정하면

16G VRAM으로 구동 가능하다.

fp8로 정밀도를 희생한다면 13B모델까지

3090에서 구동 가능할 것으로 예상된다.

참고로 LLaMa 의 상업적 사용은 별도의 협의가 필요하다.

아직 GPT3.5 수준에 이르지는 못했지만 둘의 경쟁으로

더 저렴하고 좋은 서비스가 나올 수 있을 것이다.

(23.03.06 updated)

흥미롭게도 LLaMa의 모델이 인터넷상에 유출되었다.

원래도 학술 목적으로는 어렵지 않게 받을 수 있었지만

일반인에게까지 오픈되어 사람들이 열심히 연구중이다.

흥미롭게도 누군가 LLaMa github 에 토렌트 ( 마그넷 ) 주소를

업로드 했으며 Meta에서도 딱히 삭제하지 않고 있다. (링크)

외국 친구들의 반응도 있으니 짤리기 전에 한번 보길 추천한다.

이번 유출로 인해 모델을 받아 손쉽게 customize, 테스트해 볼 수 있다.

관련글

• chatGPT 한계점과 대체재에 대해
• GPT-3.5 python에서 사용하기
• chat GPT 하이브리드 앱 만들기 C# python
• GPT-4 뭐가 달라 졌을까?
• 빙 생성 AI 까지 넘보는 중

The post GPT3.5 Turbo – ChatGPT python API 소개 appeared first on JIN's BOT.

이전글에서 chatGPT 와 동일한 GPT 3.5의

python api에 대해 알아봤다.

분명 유용한 툴이지만 세상을 바꿀 정도일까?

chatGPT 의 단점에 대해 알아보자.

최적의 답변이 아니다.

GPT에는 별도의 지능이 없기때문에

학습된 데이터가 옳은지 틀린지 얼마나 좋은지 평가할 수 없다.

따라서 학습 시킨 데이터의 질에 따라

답변의 질도 결정된다.

또한, 내용을 조합하여 답변하기 때문에

이 과정에서 오류가 섞여 들어갈 수 있다.

특히, 코딩 측면에서 이런 점이 두드러진다.

chatGPT 가 제공해 주는 코드, 예제는

분명 유용하지만 수준이 높지 않다.

이러한 불완전성은 기술적 특성이자 한계이고

애초에 노코드 , 로우코드 솔루션의 목적은 다음과 같다.

1. 초보자의 손쉬운 사용
2. 단순 반복 코드의 작성 시간 단축

따라서 chatGPT 가 현업 프로그래머를 대체할 수는 없다.

최적의 코드를 제공하지 못하는게 당연하고

이에 대해 불평한다면 기술의 목적,용도를

잘못 이해한 것이다.

애초에 목적

현업 프로그래머를 대체하는

애초에 chatGPT 나 copilot의 목적은

프로그래머를 대체하는 것이 아니다.

추가적인 학습이 어렵다.

chatGPT 의 잘못된 응답에 지적을 할 경우

사람처럼 오류를 인정하고 내용을 정정한다.

실시간 학습이 이루어진다고 착각할 수 있지만

상황에 맞게 반응하는 것일 뿐이다.

좋은 내용을 선별하여 학습 된다고 하지만

언제 어떤 방식으로 이루어지는지 알려진 바 없다.

물론 chatGPT 도 추가 학습을 위한 api 를 공개하겠지만

생각보다 비용이 비쌀 것이다.

현재 같은 GPT3.5 인 Davinci 의 추가학습 모델은

사용시 1k token(750단어)당 0.12불의 비용을 지불해야한다. (23년 2월)

개인에게 부담되는 가격은 아니지만 사용자가 수십명만 되어도

상당한 비용이 발생할 것이다.

저작권 및 기밀정보 문제

공개적으로 코드, 정보를 올린거지만

출처표기 없는 상업적 사용을 달가워할 사람은 없다.

그런 면에서 구글의 바드 는 정보의 출처를

표기할 것이라고 한다.

현재 GPT3.5 모델은 openai를 통해서만 학습 시킬 수 있는데

기업의 경우 기밀 정보 유출에 대한 우려가 있다.

따라서 삼성전자 는 정보 유출을 막기 위해

chatGPT 의 접속을 차단했다.

당연히, 별도 학습된 모델은 특정 계정, 회사에서만

접근할 수 있을 것이다.

그렇더라도 기업입장에서 서버를 외부에 두는것은 큰 부담이다.

chatGPT 대체재

그러면 local 등 에서 사용할 수 있는 chatGPT의 대안들을 알아보자.

모델이름 뒤에 있는 숫자는 parameter의 개수를 나타내며

일반적으로 높을수록 성능이 더 좋은 대신 고사양을 요구한다.

GPT-J 6B

eleutherAI에서 Ben Wang의 JAX를 기반으로 Pile 이라는 데이터셋으로 만든 모델이다.

자체적인 평가 결과 GPT3 Curie와 유사한 성능을 가진 것으로 보인다.

자세한 설명은 huggingface에서 볼 수 있고 간단한 체험도 해볼 수 있다.

최소 12GB의 VRAM이 필요하다.

low vram 버전도 있지만 성능 손실이 존재한다.

GPT-NEOX 20B

eleutherAI 의 최신 모델로 전작 GPT-NEO를 계승하고 있다.

자체 평가에 따르면 Curie보다는 좋지만

GPT3.5 모델인 Davinci에 미치지는 못한다.

textsynth, eleutherAI에서 테스트해볼 수 있다.

최소 40GB의 vram이 필요하기때문에 여기서부터는

A40, A100, RTX A6000 이상이 필요하다.
A100(40G)의 경우 미국 온디맨드 기준 AWS가 시간당 4.1$

GCP가 시간당 3.67$이므로 클라우드에서 구현하는걸 추천한다.

azure 등 더 저렴한 곳도 있으니 자세한 가격은 이 링크를 참고하라.

OPT-175B : chatGPT 에 가장 근접

meta ( facebook) 에서 공개한 모델로 GPT3.5와

동일한 parameter 갯수를 가진다.

현재 API를 완전히 공개하였으며 비상업용, 연구적 목적에

한하여 자유롭게 사용할 수 있다.

링크에서 체험해 볼 수 있으며 데이터셋, 알고리즘의

차이때문인지 davinci 보다는 성능이 떨어진다.(논문)

클러스터 구성을 지원하며 총 350GB의 VRAM이 필요하고

최대 700GB의 RAM이 필요하다.

관련글

• GPT3.5 Turbo – ChatGPT python API 소개
• chat GPT 하이브리드 앱 만들기 C# python
• GPT-4 뭐가 달라 졌을까?
• 빙 생성 AI 까지 넘보는 중

The post chatGPT 한계점과 대체재에 대해 appeared first on JIN's BOT.