HOME » WIKI » lmeval

lmeval

• 평가
  • 종합
    • base
    • instruct
      • llama-based
      • korean-specific
      • etc
  • mmlu / kmmlu_direct
    • ~ 7B
      • base
      • instruct
    • 7B ~ 20B
      • base
      • instruct
    • 20 ~ 70B
      • base
      • instruct
    • 70B ~
      • base
      • instruct
• 영어 평가
  • MMLU
  • GPQA
  • ARC-C
  • GSM8K
• 한글 평가
  • kmmlu
  • haerae
  • kobest
• Troubleshooting
• 실행

평가

종합

base

instruct

32B 이상은 너무 느려서 hf 대신에 vllm으로 측정했다. hf는 mmlu만 해도 40h 넘게 걸린다. multi gpu도 utilization을 50%도 채 못쓰는데 processes 수를 조정해도 다 쓰게 할 수 없었다.

llama-based

korean-specific

etc

mmlu / kmmlu_direct

• kmmlu_direct 689s elapsed. 5-shot

~ 7B

base

instruct

7B ~ 20B

base

instruct

모든 평가는 chat template을 사용하지 않았다. 기존에는 vllm, 신규 종합 평가는 hf를 사용했다.

20 ~ 70B

base

instruct

solar-pro는 vllm에서 지원하지 않아 hf에서 구동

70B ~

base

instruct

qwen2-72b는 kmmlu는 가능한데 mmlu는 계속 out of memory라서 gpu 4장에서 진행. mmlu가 메모리를 더 많이 쓰며 희안하게 0번 gpu에만 추가로 20GB 더 점유. 때문에 gpu_utilization_memory=0.65로 제한하여 다른 GPU도 최대 51GB밖에 사용하지 못함.

영어 평가

MMLU

write_out 옵션은 프롬프트 예제 출력. H100에서 684s elapsed.

chat은 --apply_chat_template 옵션 적용. 라마3 평가

• The micro average numbers for MMLU are: 65.4 and 67.4 for the 8B pre-trained and instruct-aligned models.
• For the instruct-aligned models, we use a dialogue prompt (user/assistant) for the shots and ask the model to generate the best choice character as answer.

GPQA

• --tasks gpqa_main_zeroshot 33s elapsed
• --tasks gpqa_main_cot_zeroshot flexible-extract, 246s elapsed.

• We report 0-shot exact match scores over the possible options using the Main subset for our models and other open-source models (Mistral, Gemma).

ARC-C

• --tasks arc_challenge --num_fewshot 25 197s elapsed.

GSM8K

• --tasks gsm8k_cot --gen_kwargs max_gen_toks=512¹ flexible-extract, 960s elapsed.

한글 평가

kmmlu

• --tasks kmmlu 전체 12h elapsed.
  • kmmlu_hard_direct
  • kmmlu_hard 5-shot 모두 무슨 차이인지
• kmmlu_direct로 진행

haerae

• --tasks haerae 107s elapsed.
  • chat template의 경우 다음 2가지 옵션 모두 지정시 성능이 나온다. --apply_chat_template --fewshot_as_multiturn
• 또한 n-shot에서 결과가 더 좋다. 아래 결과는 5-shot, multiturn

kobest

• --tasks kobest 337s elapsed.

Troubleshooting

• lm-eval[api]로 local-chat-completition이 잘 진행되지 않음.
• lm-eval시 예전에는 프로세스 2개가 같은 gpu를 바라보는 문제가 있었는데, 새로 셋업하니 이번에는 각각 gpu를 잘 바라본다. (비공개) #1-8 실행 스크립트 참고, 그러나 hf에서 72B는 메모리 부족으로 실행 안됨
• gemma-2-9b가 너무 느려서 조언을 받아 vllm으로 시도. 2장으로 tensor_parallel이 잘 안된다. GPU 1장에서 max_model_len=2048,max_num_batched_tokens=2048,gpu_utilization_memory=0.7,enforce_eager=True 해야 OOM없이 진행된다.
• 기본 lm-eval 설치 후 hf에서 gemma-2 점수가 모두 이상하게 나온다.
  • Qwen도 1버전 실행 안됨. vllm에서 mmlu는 되는데 kmmlu는 token error 발생. 다음과 같이 패치:

    $ vi /root/.cache/huggingface/modules/transformers_modules/Qwen/Qwen-1_8B/fa6e214ccbbc6a55235c26ef406355b6bfdf5eed/tokenization_qwen.py
    # 165 line
    continue
    # 277 line
    if token_ids is None: token_ids = [151643]
    

• pytorch ngc 이미지에서 pip install lm-eval[vllm]로 설치하고 pip uninstall -y transformer-engine pynvml로 로딩 에러 해결. 로컬 설치는 pip install -e ".[vllm]"
• hf와 vllm의 json 결과가 다르다. vllm은 groups 결과가 없다. 직접 평균을 낼 수 밖에 없는 구조
• vllm으로 mmlu는 gpu_utilization_memory=0.7로 진행. 메모리 설정이 까다롭다.
• 모든 tasks를 묶어서 한 번에 진행하면 훨씬 더 빠르게 진행할텐데 계속 CUDA OOM 때문에 진행할 수가 없다. 그래서 각 task 별로 따로 진행. vllm이고, 특히 mmlu에서 유난히 에러가 잦다. 현재는 gpu_utilization_memory=0.6으로 진행.
• hf에서 너무 느려서 vllm으로 갈아탄건데, 지원하지 않는 모델도 있고 memory 설정도 까다로워서 다시 hf로 롤백. 생각해보면 hf에서 bfloat16으로 강제했던게 속도 문제가 아니었나 싶다. 당시 gemma에서 엄청나게 느린 속도가 나왔던 걸로 기억. flash_attn을 재설치해줬더니 에러가 발생하지 않는다.
• 점수 재현을 위해 --seed 42로 고정했다. 예전부터 쓰던건데 뒤늦게 기입.

실행

$ cd /home/jovyan/slm-continued-pretraining
$ ./eval.sh