LangChain 플랫폼을 통한 LLM, 기억저장소, 프롬프트 엔지니어링 구현 패키지
-
LangChain 프레임워크
랭체인은 대규모 언어 모델(LLM)을 기반으로 애플리케이션을 구축하기 위한 오픈 소스 프레임워크이다.
랭체인을 통해 프롬프트 체인을 구축하고 템플릿을 맞춤화할 수 있다.
다양한 모델을 유연하게 전환 가능하여 추상화를 제공한다. -
프롬프트 엔지니어링
프롬프트는 특정 작업을 수행하도록 생성형 AI에 요청하는 자연어 텍스트를 말한다.
적절한 문맥과 형식을 제한하고 역할을 고정함으로써 결과의 품질을 증대한다. -
LLM 모델 교환
- OpenAI: gpt-3.5-turbo | gpt-4 | gpt-4-turbo
- Google: text-bison@001 | text-bison@002 | gemini-pro
- HuggingFaceHub: mistralai/Mistral-7B-Instruct-v0.2 | https://huggingface.co/models?other=LLM
- Ollama: llama3 | phi3 | wizardlm2 | https://ollama.com/library
HuggingFace를 통해 트랜스포머된 다양한 모델을 사용할 수 있다.
Ollama는 LLM을 로컬 환경에서 실행할 수 있게 제공하는 프레임워크이다. -
임베딩 모델 교환
- OpenAI
- Google: models/embedding-001
- HuggingFaceHub: jhgan/ko-sroberta-nli | https://huggingface.co/models?other=embeddings
임베딩은 고차원의 비정형 데이터를 저차원의 벡터값으로 변환하는 과정이다.
이를 통해 각 벡터 간 L1, L2, 코사인 유사도 등의 측정 방법을 통해 그 인접성과 유사도를 파악할 수 있다. -
기억 저장소를 위한 벡터 데이터베이스 사용과 교환
LLM은 사후 학습 과정을 진행하지 않는다. 그러므로 채팅 기능을 구현하게 되면 문맥을 가지지 못하고 환각 현상을 보인다.
벡터 데이터베이스는 LLM을 위한 외부 기억 저장소 역할로, 벡터 데이터를 처리하고 유사성 분석을 통해 의미 기반의 쿼리를 가능하게 한다.
_student-ai
├─ .git
├─ .gitignore
├─ dist
├─ notebooks
│ ├─ chatbot_instruction.ipynb
│ ├─ function_calling.ipynb
│ └─ gradio_chatbot.ipynb
├─ README.md
├─ setup.py
└─ student_ai
├─ chatbot.py
├─ template_text.json
├─ vectorstore.py
└─ __init__.py
python setup.py bdist_wheel# build 결과 생성된 최신 버전으로 설치
pip install dist\student_ai-\{버전}-py3-none-any.whl