비탈릭, 온프레미스 전용 LLM 솔루션을 소개하며 개인정보 보호와 보안을 최우선으로 강조

비탈릭 부테린은 2026년 4월 기준의 온프레미스형·사설형 LLM 배포 방안을 게시하며, 핵심 목표는 개인정보 보호, 보안 및 자율적 통제성을 전제로 삼아 원격 모델 및 외부 서비스가 개인 데이터에 접근할 기회를 최대한 줄이고, 온프레미스 추론, 파일 로컬 저장 및 샌드박스 격리 등의 방식을 통해 데이터 유출, 모델 탈옥 및 악성 콘텐츠 악용 위험을 낮추는 것이라고 밝혔다. 하드웨어 측면에서는 NVIDIA 5090 GPU가 탑재된 노트북, AMD Ryzen AI Max Pro 128GB 통합 메모리 장치 및 DGX Spark 등의 솔루션을 테스트했으며, Qwen3.5 35B 및 122B 모델을 사용하여 온프레미스 추론을 수행했다. 이 중 5090 노트북은 35B 모델에서 약 90 tokens/s, AMD 솔루션은 약 51 tokens/s, DGX Spark는 약 60 tokens/s의 성능을 보였다. Vitalik은 고성능 노트북을 기반으로 로컬 AI 환경을 구축하는 것을 선호하며, llama-server, llama-swap 및 NixOS 등의 도구를 사용하여 전체 워크플로를 구성한다고 밝혔다.