무우야의 테크 어드벤처

  • 홈
  • 태그
  • 방명록

distributegpu 1

[AI] LLAMA 3 - 고성능 GPU 없이 실행하기

LLM을 집에서 간단하게 실행하기 위해 https://petals.dev/ 을 활용해서BitTorrent-style 과 같이 모델을 자를 것이고from transformers import AutoTokenizerfrom petals import AutoDistributedModelForCausalLM# Choose any model available at https://health.petals.devmodel_name = "meta-llama/Meta-Llama-3-70B" # This one is fine-tuned Llama 3 (70B)# Connect to a distributed network hosting model layerstokenizer = AutoTokenizer.f..

서비스 개발 2024.04.22
이전
1
다음
더보기
프로필사진

반응형
  • 분류 전체보기 (11)
    • 일상 기록 (2)
    • 서비스 개발 (9)

Tag

Java, 회고, app, API, AWS, Ai, distributegpu, LLM, Llama3, frontend, Cloud, Application, 마쓰야마, web, 아키요시, backend, JavaScript, NextJS, React, ai_agent,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바