무우야의 테크 어드벤처

https://github.com/MOOWOO/fastapi-celery-queue-application GitHub - MOOWOO/fastapi-celery-queue-applicationContribute to MOOWOO/fastapi-celery-queue-application development by creating an account on GitHub.github.com 현재 작성하고 있는 프로젝트의 주요 골격으로 LLM엔진의 기능은 한 없이 커지고 있고, GPU등의 Out of memory 등의 상황에서 요청을 흘리는 일이 많이 발생해서 배치처리가 가능하도록 만들고 있다. FastAPI와 Celery를 이용한 비동기 작업 처리 애플리케이션의 장점안녕하세요! 오늘은 FastAPI와 Cele..

Llama3가 더 강력한 모습으로 돌아왔다. Llama2가 발표된지 거의 9개월만이다. Meta는 먼저 Llama3 8B, 70B을 공개하였으며, 최대 400B급 Llama3 모델을 학습하고 있다고 한다. 최근 공개된 Llama3의 모델 성능과 주요 변화에 대해 알아보자.Llama 3의 성능Llama3는 이전 세대인 Llama2에 비해 모든 벤치마크에서 대폭적인 도약을 이루었다.Base pretrained models (Llama2 vs Llama3)Llama3 70B: 모든 모델 벤치마크에서 Llama3 70B의 성능을 능가한다.Llama3 8B: 모든 모델 벤치마크에서 Llama2 7B, 13B보다 더 우수한 성능을 보인다. BoolQ 벤치마크의 경우, Llama3 8B이 Llama2 70B보다 더 ..

LLM을 집에서 간단하게 실행하기 위해 https://petals.dev/ 을 활용해서BitTorrent-style 과 같이 모델을 자를 것이고from transformers import AutoTokenizerfrom petals import AutoDistributedModelForCausalLM# Choose any model available at https://health.petals.devmodel_name = "meta-llama/Meta-Llama-3-70B" # This one is fine-tuned Llama 3 (70B)# Connect to a distributed network hosting model layerstokenizer = AutoTokenizer.f..

AI TownAI Town은 오픈소스 프로젝트로, 인공지능(AI) 기반의 마을 시뮬레이션을 개발 및 구현하는 플랫폼입니다. 이 프로젝트는 머신러닝, 자연어 처리, 컴퓨터 비전 등의 다양한 AI 기술을 활용하여 가상 마을을 구축하고, 그 안에서의 다양한 상호작용을 시뮬레이션합니다.AI Town의 주요 목적은 인공지능을 사용하여 현실 세계의 복잡성을 모방하고, 다양한 시나리오와 상황을 테스트할 수 있는 가상 환경을 만드는 것입니다. 이를 통해 다양한 응용 분야에서 AI 기술을 연구하고 검증할 수 있습니다. 예를 들어, 자율주행차 시뮬레이션, 스마트 시티 모델링, 사회적 상호작용 연구 등이 포함될 수 있습니다.AI Town은 AI 분야의 전문가뿐만 아니라 초보자, 학생, 연구자 등 다양한 사람들이 참여하..