[프롬프트 엔지니어링] LLM 그리고 새로운 시대의 개막

프롬프트 엔지니어링이란?

• 전통적인 알고리즘 개발 방법론(소프트웨어1.0)과 머신러닝 방법론(소프트웨어 2.0과 3.0)을 결합하여,
  자연어로 컴퓨터와 상호작용하는 방법

 

프롬프트 엔지니어링의 목표

• 실험적인 방법론에 기반하여 의도한 대로 정확하고 일관된 결과를 얻기

 

규칙 기반 AI와 머신러닝

• 규칙 기반 AI는 사람이 일일이 규칙을 짜서 동작시키는 방식으로, 단순한 문제에는 적합하나 복잡해지면 관리가 어려움
• 머신러닝은 데이터로부터 스스로 학습
  • 지도학습은 “정답” 있는 데이터로 모델을 훈련시켜 예측 정확도를 높임
  • 비지도학습은 “정답” 없이 데이터 구조를 탐색해 군집화나 이상치 탐지 등에 활용

머신러닝과 딥러닝의 차이점

딥러닝은 인공신경망을 학습시키는 방법으로 사람의 뇌 작동 방식을 모방

 

대규모 언어 모델(LLM : Large Language Model)이란?

수십억에서 수조 개 이상의 많은 뉴런을 가진 신경망에 방대한 자연어 데이터를 학습시키는 모델

 

LLM의 작동원리

• GPT와 같은 모델을 자기회귀 모델(Autogressive Model)이라 함
  * 자기회귀란? : 이전 결과를 바탕으로 다음 단어 예측을 반복 하는 것
• LLM으로 사용자에게 유용한 기능을 제공하려면 비정형 데이터에서 정형 데이터로,
  정형데이터에서 비정형 데이터로 변환하는 능력이 중요
  * 정형 데이터란 : 주소록, 회원정보 등 특정 형식이나 구조를 가진 데이터
  * 비정형 데이터란 : sns 게시물, 이메일 본문, 프로그램 코드등 형식이나 구조가 없는 데이터

인스트럭션 튜닝(Instruction Tunning)

• 명령이나 지시 형태로 표현된 텍스트를 이해한 뒤 작업을 수행하는 것

LLM 응용기술

• ChatPDF: 자연어로 PDF 문서를 분석하고 질문에 대한 답변을 제공하는 대화형 문서 처리 도구
• GitHub Copilot: 코드 작성 중인 개발자에게 AI 기반 코드 완성 및 제안을 실시간으로 제공하는 코딩 어시스턴트
• NAS (Neural Architecture Search): 주어진 과제에 최적화된 신경망 구조를 자동으로 탐색하고 설계하는 기술
• ChatGPT: 대규모 언어 모델을 기반으로 자연어 대화를 통해 다양한 질문에 답변하고 텍스트를 생성하는 챗봇 서비스