무우야의 테크 어드벤처

https://github.com/MOOWOO/fastapi-celery-queue-application GitHub - MOOWOO/fastapi-celery-queue-applicationContribute to MOOWOO/fastapi-celery-queue-application development by creating an account on GitHub.github.com 현재 작성하고 있는 프로젝트의 주요 골격으로 LLM엔진의 기능은 한 없이 커지고 있고, GPU등의 Out of memory 등의 상황에서 요청을 흘리는 일이 많이 발생해서 배치처리가 가능하도록 만들고 있다. FastAPI와 Celery를 이용한 비동기 작업 처리 애플리케이션의 장점안녕하세요! 오늘은 FastAPI와 Cele..

Next.js 프레임워크를 사용할 때 다국어 지원에 관한 내용을 정리한 포스팅입니다. 다국어 지원 개념웹사이트에서 다국어를 지원하기 위해서는 사용자가 선택한 나라의 정보를 가지고 있어야합니다.일반적인 웹사이트에서는 나라 정보를 URL에서 확일 할 수 있도록 path에 포함합니다. 예시https://chanstory.dev/krhttps://chanstory.dev/en 그리고 선택한 나라의 언어를 지원하기 위해 페이지에 렌더링해야하는 텍스트 정보들을 모두 객체로 관리해야 합니다.한국어, 영어를 지원하는 navbar를 만들어 예시로 들어보겠습니다.  홈 블로그 갤러리 마이 페이지  위에서 작성한 nav 요소에 다국어 지원을 하기 위해 프로젝트에..

@font-face { font-family: 'Noto Sans KR'; font-weight: 300; src: url('./styles/fonts/NotoSansKR-Light.otf') format('woff2'), url('./styles/fonts/NotoSansKR-Light.otf') format('woff'), url('./styles/fonts/NotoSansKR-Light.otf') format('truetype');}@font-face { font-family: 'Noto Sans KR'; font-weight: 400; src: url('./styles/fonts/NotoSansKR-Regular.otf') format('woff2'), ..

AWS 계정 설정 및 이전 AWS 계정의 소유권을 이전하거나 루트 사용자 로그인 정보를 변경하려면 루트 사용자의 이메일 주소와 암호가 있어야 합니다. 부업 등으로 본인 계정에서 작업을 하고 서비스를 넘겨야 하는 경우, 계정단위로 넘길 수 있습니다. AWS 계정의 소유권을 이전하기 전에 다음을 고려해야 합니다. AWS 계정 루트 사용자 액세스를 기타 개별 계정으로 이전예를 들어 동료에게 소유권을 이전한다고 가정해 보겠습니다. 다중 인증(MFA)을 사용하는 경우 먼저 디바이스를 비활성화하세요. 또는 다른 MFA 디바이스를 추가한 다음 계정 이전 후 불필요한 디바이스를 비활성화할 수 있습니다. 자세한 내용은 MFA 디바이스 비활성화를 참조하세요.보안 챌린지 질문을 구성한 경우 새 계정 소유자에게 자신만의 보안..

1. 클라우드 컴퓨팅의 장점고정 비용을 변동 비용으로 전환 — 사용 방법을 알기도 전에 데이터 센터와 서버에 막대한 투자를 할 필요 없이 컴퓨팅 리소스를 사용할 때만 비용을 지불하고 사용한 만큼만 지불하면 됩니다.대규모 규모의 경제 혜택 — 클라우드 컴퓨팅을 사용하면 자체 비용보다 낮은 가변 비용을 달성할 수 있습니다. 수십만 고객의 사용량이 클라우드에 집계되기 때문에 과 같은 공급업체는 규모의 경제를 높여 급여 가격을 낮출 AWS 수 있습니다. as-you-go용량 추측은 이제 그만 — 인프라 용량 요구 사항을 추측하지 않아도 됩니다. 애플리케이션을 배포하기 전에 용량을 결정하면 값비싼 유휴 리소스를 사용하거나 제한된 용량으로 처리하게 되는 경우가 많습니다. 클라우드 컴퓨팅을 사용하면 이러한 문제가 해..

최근 AI API를 쓰다보면, 텍스트를 스트림으로 받아서 출력하는 경우가 많아졌습니다. 이에 따른 간단한 처리 방법을 작성 합니다. text/event-stream은 Server-Sent Events (SSE)를 사용하는 프로토콜로, 서버에서 클라이언트로 이벤트를 실시간으로 보내는 데 사용됩니다. Java에서 SSE를 처리하려면 HTTP 클라이언트를 사용하여 연결을 만들고 이벤트를 읽을 수 있는 방법이 필요 합니다.Java에서 text/event-stream을 받는 방법에 대한 간단한 가이드 입니다.필요한 라이브러리Java HTTP 클라이언트 (Java 11 이상)아래는 Java 11 HTTP 클라이언트를 사용하여 text/event-stream을 처리하는 코드 예제 입니다. java.net.http...

Llama3가 더 강력한 모습으로 돌아왔다. Llama2가 발표된지 거의 9개월만이다. Meta는 먼저 Llama3 8B, 70B을 공개하였으며, 최대 400B급 Llama3 모델을 학습하고 있다고 한다. 최근 공개된 Llama3의 모델 성능과 주요 변화에 대해 알아보자.Llama 3의 성능Llama3는 이전 세대인 Llama2에 비해 모든 벤치마크에서 대폭적인 도약을 이루었다.Base pretrained models (Llama2 vs Llama3)Llama3 70B: 모든 모델 벤치마크에서 Llama3 70B의 성능을 능가한다.Llama3 8B: 모든 모델 벤치마크에서 Llama2 7B, 13B보다 더 우수한 성능을 보인다. BoolQ 벤치마크의 경우, Llama3 8B이 Llama2 70B보다 더 ..

LLM을 집에서 간단하게 실행하기 위해 https://petals.dev/ 을 활용해서BitTorrent-style 과 같이 모델을 자를 것이고from transformers import AutoTokenizerfrom petals import AutoDistributedModelForCausalLM# Choose any model available at https://health.petals.devmodel_name = "meta-llama/Meta-Llama-3-70B" # This one is fine-tuned Llama 3 (70B)# Connect to a distributed network hosting model layerstokenizer = AutoTokenizer.f..

AI TownAI Town은 오픈소스 프로젝트로, 인공지능(AI) 기반의 마을 시뮬레이션을 개발 및 구현하는 플랫폼입니다. 이 프로젝트는 머신러닝, 자연어 처리, 컴퓨터 비전 등의 다양한 AI 기술을 활용하여 가상 마을을 구축하고, 그 안에서의 다양한 상호작용을 시뮬레이션합니다.AI Town의 주요 목적은 인공지능을 사용하여 현실 세계의 복잡성을 모방하고, 다양한 시나리오와 상황을 테스트할 수 있는 가상 환경을 만드는 것입니다. 이를 통해 다양한 응용 분야에서 AI 기술을 연구하고 검증할 수 있습니다. 예를 들어, 자율주행차 시뮬레이션, 스마트 시티 모델링, 사회적 상호작용 연구 등이 포함될 수 있습니다.AI Town은 AI 분야의 전문가뿐만 아니라 초보자, 학생, 연구자 등 다양한 사람들이 참여하..