HOME » WIKI » CPT LLaMA-Factory

CPT LLaMA-Factory

• LLaMA-Factory
  • kmmlu train
    • 1.0e-4 (default)
    • 1.0e-5
    • 5.0e-6
    • 3.0e-6 (채택)
    • 1.0e-6
    • 기타 실험
      • device / packing
  • textbooks 1000 cleaned
    • textbooks-context-4k-token-10m
    • textbooks-1294-raw-token-151m
  • release
    • DeepSpeed 실험하면서 textbook 학습
    • textbook 3단계 학습 (r241025)
  • Claude 실험
    • Claude 학습과 비교
    • HAERAE-HUB 데이터
  • mergekit 실험
    • SFT 진행
    • SFT 모델 + llama instruct merge 실험
    • 최종 모델 merge 전후 평가
    • merged 모델 SFT 후 다시 merge

LLaMA-Factory

kmmlu train

llama-factory를 이용해서 kmmlu token 150m 학습을 진행했으나 llama-factory SFT learning rate 기본값 1.0e-4에서 모델이 엉망이 됐다.

1.0e-4 (default)

SFT default는 learning rate가 너무 높다.

kmmlu train 3000:
같은 이유로 모델이 엉망이 됐다.

1.0e-5

성능이 오락가락하므로 정상이 아니다. 조금 더 낮춰야 한다.

5.0e-6

여기서부터는 괜찮다. 하지만 좀 더 안정적이면 좋겠다.

3.0e-6 (채택)

가장 합리적으로 보인다. 향후 이 값으로 계속 사용

1.0e-6

3.0e-6으로 학습하려고 했으나 졸려서 설정을 잘못한거 같다. 1.0e-6으로 학습되어 있다. 아래와 결과가 유사하다. lr이 낮아서 2epch가 의미가 있다. device2로 8h 진행되며, 4일때와 달리 checkpoint 26070까지 진행된다.

가장 먼저 lr로 문제를 해결한 결과. 오랫동안 고생하다 드디어 문제를 해결했다. 하지만 점수 상승폭이 너무 낮아 이후 다양한 실험을 진행하고 최적의 lr을 찾아나섰다.

기타 실험

평가시 bos 실험:
별 영향을 끼치지 않는다.

device / packing

lr 3.0e-6에서 device, packing에 따른 성능 비교:
당연히 kmmlu는 packing: false에서 성능이 더 좋다.

textbooks 1000 cleaned

전처리해준 textbooks 1000권을 device4, 3.0e-6, packing: true로 진행

• textbook_dataset-20240816-0414-0.jsonl 3.3m
• textbook_dataset-20240816-0414-1.jsonl 4.9m
• textbook_dataset-20240816-0414-2.jsonl 45.9m
• textbook_dataset-20240816-0414-3.jsonl 46.6m
• textbook_dataset-20240816-0414.jsonl 100m
• dataset-epub 6.8M 추가로 정제한 데이터 진행

이 데이터셋은 8k 기준으로 맞춰져 있으므로 packing: false일때 원본 그대로 12,509 examples 및 1h에 학습이 끝나지만 packing: true일때는 4k 단위로 정리되고 24,605 examples가 되어 2h 학습이 진행된다.

jsonl 토큰 갯수 카운팅 스크립트:

from transformers import AutoTokenizer
t = AutoTokenizer.from_pretrained('meta-llama/Meta-Llama-3.1-8B-Instruct')

with open('./textbook_dataset-20240816-0414.jsonl', 'r') as json_file:
    jsonl_content = list(json_file)

import json
tokens = []
for j in jsonl_content:
  jj = json.loads(j)
  tt = len(t(jj['text']).input_ids) - 1
  tokens.append(tt)

import numpy as np
np.sum(tokens)

textbooks-context-4k-token-10m

100여권 textbooks 정제 데이터, 2epch 진행

• lr 1.0e-5에서 OOM이 발생하여 per_device_train_batch_size를 4에서 2로 낮췄다. 3.0e-6에서도 device4는 OOM이 발생해 진행하지 못했다.
• 전자책은 세심하게 단락 단위로 문장을 구분했으나 packing: true로 해도 성능에 차이가 없다.
  • 4k 넘는 문장이 꽤 많기 때문에 packing: true가 더 유용한듯 하다. 그렇지 않다면 학습시 cutoff_len 조정이 필요하다.

textbooks-1294-raw-token-151m

무정제 데이터를 3.0e-6으로 진행했으며, unsloth 만큼은 아니지만 성능이 점차 하락하는걸 관찰할 수 있다. 다행히 unsloth와 달리 영어 점수는 거의 떨어지지 않는다.

release

textbooks 1000 (token 100m) + textbooks (token 10m), packing: true로 학습에 2h 20m 소요됐다.
모델명: dnotitia/dna-base-v1-preview-r240924

모델명: dnotitia/dna-base-v1-preview-r240925
8gpus, deepspeed z2로 학습했다. z0은 OOM으로 실패

DeepSpeed 실험하면서 textbook 학습

dnotitia/textbook-cleansing-with-parser-ver0.1를 가장 큰 파일만 따로 추출해서 로컬에 정리한게 dataset-epub이다.

textbook 3단계 학습 (r241025)

dnotitia/textbook-cleansing-with-parser-midquality-ver0.1 추가로 전처리 완료. 2 epchs. kmmlu만 packing: false

Claude 실험

Claude 학습과 비교

HAERAE-HUB 데이터

mergekit 실험

dnotitia/dna-1.0-8B-preview-r241105 모델과 dnotitia/exaone-instruct-llamafied를 LINEAR로 merge했다. 그런데 exaone은 instruct라는 문제가 있다.

freeze 평가는 의미 없어 보인다.

SFT 진행

Mix Data or Merge Models 논문에 따라 SFT → (merge) 실험 진행

그렇다면 우리 2모델을 SLERP merge 시도

1. 두 학습 모델 merge (하나는 이미 instruct를 기반으로 했으므로 다른 경우)

merge 외에 L3i - L3b 값을 cpt 모델에 element-wise add 하는 실험도 병행해볼 것

SFT 모델 + llama instruct merge 실험

한글 학습 모델 + 라마 instruct

최종 모델 merge 전후 평가

merged 모델 SFT 후 다시 merge

merged 모델 이후 SFT를 진행해서 kmmlu와 kobest는 올렸으나 다시 gsm8k가 떨어졌다. 따라서 SLERP 방식으로 한 번 더 merge 진행. 1은 base 모델이 llama, 2는 우리 모델이다.