Kaggle에 올라와있는 NOTA Salmonn-3B와 원본 Salmonn-7B의 성능값이 실제 측정값과 일치하는지 필요할거 같아요

[doraemon500]

여기 있는 latency와 메모리 값이 현재 baseline에 있는 evaluate_efficiency_salmonn.py 측정값과 실제로 일치하는지 확인을 해야지 앞으로 새로운 모델을 구현 후 해당 모델 성능 측정을 했을 때 저기 올라온 NOTA Salmonn-3B에 비해서 개선되었는지 확인할 수 있을 거 같습니다

[doraemon500]

추가)
해당 캐글에 있는 성능 메트릭은 현재 우리가 사용하는 V100 기준으로 측정되지 않았을 수도 있을 거 같아서 이에 우리 서버에서 다시 측정해서 수정할 필요가 있을 거 같음

[hskhyl]

좋은 것 같습니다. 저희 서버 받고 데이터 다 옮겨지면 한번 성능 매트릭 재측정하고 저희만의 리더보드에서 걔를 기준으로 점점 업그레이드 시켜가면 될 것 같아용