log

클로드급 로컬모델?

#local-llm #hardware #ai

최근 레딧에서 Asus Ascent gx10 2대를 연결해서 cyankiwi/MiniMax-M2.7-AWQ-4bit를 돌려서 프론티어 모델을 대체했다는 이야기를 보았다. 출처

대략적으로 비용을 계산해보니 다음과 같았다.

Asus Ascent gx10 x2 => 11,480,000원 (5,740,000원 x 2)

두대를 다이렉트로 연결할 수 있는 케이블(nvidia official approved) - NJAAKK0006 => $119(176,934원)

약 1160만원 정도면 프론티어 모델에 근접한 성능의 모델사용이 가능 좀 더 싼 버전으로는 MSI EdgeXpert 가 있다. => 5,350,000원

물론 4비트 양자화 모델을 사용해야하기에 벤치마크보다 성능이 떨어질 수 있음

Nvidia nim에서 Minimax m2.7 api를 제공하니 여러가지로 테스트 해보고 가능성을 파악해봐야겠다.