검색결과
-
데이터브릭스, 엔비디아 협력 확대..데이터 인텔리전스 플랫폼 데이터 AI 워크로드 가속화데이터브릭스(Databricks)가 엔비디아(NVIDIA)와의 협력을 확대하고 기술 통합을 강화한다고 밝혔다. 이러한 발표 사항은 엔비디아가 주최한 GTC 2024 컨퍼런스에서 공유되었으며, 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼(Data Intelligence Platform)에서 데이터 및 AI 워크로드를 최적화하는 데 박차를 가할 계획이다. 이번 협력은 최근 엔비디아가 데이터브릭스 시리즈 I 투자에 참여한 것의 연장선이기도 하다. 알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 되어 기쁘다"며, “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다. 쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 말했다. ▶엔드투엔드 AI 솔루션을 위한 GPU 지원 가속화 오늘날 조직은 데이터로 훈련되고 비즈니스와 도메인에 맞게 맞춤화된 생성형 AI 솔루션을 구축 및 커스터마이징하기 위해 데이터브릭스의 데이터 인텔리전스 플랫폼을 신속하게 도입하고 있다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU(NVIDIA H100 Tensor Core GPU)를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙(Mosaic AI Model Serving)의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM) 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. ▶엔비디아 가속 컴퓨팅을 통해 쿼리 성능을 향상하는 포톤(Photon) 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스(serverless) 데이터 웨어하우스인 데이터브릭스 SQL(Databricks SQL)을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. ▶데이터브릭스의 머신러닝 및 딥러닝 지원 데이터브릭스에서 머신러닝(ML)과 딥러닝은 중요한 워크로드다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산이다"라고 설명하며, “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 말했다.
-
데이터브릭스, 국내 첫 오프라인 ‘Data + AI World Tour’ 개최… 세계 최초의 오픈소스 대형언어모델 ‘돌리 2.0’ 공개데이터 레이크하우스(Lakehouse) 기업 데이터브릭스(Databricks)가 자사의 글로벌 연례행사인 ‘Data + AI World Tour’를 국내에서 처음 오프라인으로 개최한다. 이번 행사는 국내 유수의 데이터 및 인공지능(AI) 전문가들이 참여해 서로 인사이트를 나누고 모범 사례를 공유하는 자리로, 데이터브릭스의 최신 제품과 기술 혁신 동향도 자세히 살펴볼 수 있다. 특히 이번 행사에서는 데이터브릭스의 오픈소스 AI 모델 ‘돌리(Dolly)’의 업그레이드 버전인 ‘돌리 2.0’도 공개됐다. 돌리는 세계 최초의 오픈소스 명령어 추종 대형언어모델(LLM)로, 연구나 상업적 용도로 사용할 수 있는 명령어 학습 데이터셋을 미세 조정해 구현됐다. 데이터브릭스는 내부 직원들에게 크라우드 소싱된 고품질 명령어 추종 데이터셋을 미세 조정했으며, 일루더AI(EleutherAI)의 피티아(Pythia) 모델군에 기반한 120억개의 파라미터 언어 모델을 사용했다. 데이터브릭스는 트레이닝 코드, 데이터 셋, 돌리 모델의 훈련된 가중치 등을 포함한 돌리 2.0의 모든 것을 상업적 용도로 사용할 수 있도록 오픈소스로 제공한다. 이를 통해 어떤 조직이든 API 액세스 비용을 지불하거나 제3자에 데이터를 공유하지 않고도 인간과 대화가 가능한 강력한 LLM을 생성, 소유 및 커스터마이징할 수 있다. 이뿐만 아니라 이번 행사에서는 G마켓, 이마트24, 데브시스터즈, 한화, 메조미디어, 잡코리아, 핀다, 위버스 컴퍼니, 무신사 등을 포함한 국내 유수 기업의 데이터 및 AI 리더들이 연사로 나서 각 기업의 데이터 혁신 여정을 공유할 예정이다. ‘데스티네이션 레이크하우스(Destination Lakehouse)’를 주제로 열리는 Data + AI World Tour는 현대화된 데이터 스택을 구성하는 핵심 요소들은 물론, 기업들이 데이터 자산을 즉각 활용해 더 효과적인 비즈니스 의사결정을 내리고 AI를 성공적으로 구현하도록 하는 데이터 레이크하우스를 집중 조명한다. 데이터브릭스가 개척하고, 그 혁신을 이 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성 및 확장성을 데이터 웨어하우스의 데이터 관리 기능과 결합해 모든 데이터에 대한 비즈니스 인텔리전스(BI)와 ML(머신러닝)을 지원하는 개방형 통합 데이터 플랫폼이다. 이번 행사에서 ‘엔터프라이즈 데이터 통합을 통한 데이터 가치 극대화’를 주제로 발표를 진행하는 한기선 한화 DT 전략팀 테크 리드는 “한화는 경영 가시성을 높이기 위해 통합 재무 대시보드를 시작으로 각 부분의 경영 활동과 관련된 가시화 작업을 진행하고 있으며, 글로벌 시장 환경 변화에 따른 제품 가격, 주가 예측 등을 머신러닝 영역으로 확장하는 것도 고려하고 있다”고 말했다. 한편 데이터브릭스는 데이터와 AI를 활용해 업계를 혁신하고 있는 각 조직의 데이터 팀을 선정하는 ‘2023 코리아 Data + AI 어워즈’도 함께 진행한다. 각 수상 내역과 수상자는 다음과 같다. · Data + AI 트랜스포메이션(Transformation) 어워드: 데이터 기반 혁신을 통해 비즈니스를 한 단계 성장시키고 명확하고 의미 있는 성과를 이끈 데이터 및 AI 팀에 수여되는 상으로, 위버스컴퍼니가 수상했다. · Data + AI 비저너리(Visionary) 어워드: 조직 내에서 놀라운 성과를 내고 글로벌 데이터 AI 커뮤니티에 영감을 주는 혁신적이며 영향력 있는 데이터 및 AI 팀에 수여되는 상으로, 데브시스터즈가 수상했다. · Data + AI 민주화(Democratization) 어워드: 모든 조직 구성원이 데이터를 활용할 수 있도록 하는 데 앞장서고 있는 데이터 및 AI 팀에 수여되는 상으로, 무신사가 수상했다. · Data + AI 이그제큐티브(Executive) 어워드: 데이터와 AI를 혁신하고 영향력을 발휘하는 데이터 및 AI 담당 임원에게 수여되는 상으로, 이마트24 이재경 CIO(최고정보책임자)가 수상했다. · Data + AI 챔피언(Champion) 어워드: 데이터브릭스를 가장 지지하는 앰배서더에게 수여되는 상으로, G마켓 서대홍 플랫폼 테크놀로지 매니저가 수상했다. 장정욱 데이터브릭스 코리아 대표는 “올해 Data + AI World Tour를 한국에서 개최하게 돼 매우 기쁘다. 데이터 레이크하우스의 선구자로서, 우리는 모든 사람이 데이터와 AI에 액세스할 수 있도록 하는 데 집중하고 있다. 이번 행사는 국내 데이터 및 AI 업계 리더들이 서로 인사이트를 나누고 모범 사례를 공유하며, 데이터브릭스의 제품 혁신 동향을 직접 살펴볼 수 있는 아주 유익한 자리”라며 “특히 이번 행사에서 처음으로 데이터브릭스 코리아 고객 어워즈를 진행해 차세대 혁신을 주도하고 있는 국내의 데이터 및 AI 팀과 업계 비전을 제시하는 리더들의 공로를 치하할 수 있게 돼 매우 뜻깊게 생각한다”고 설명했다. 웹사이트: https://databricks.com
-
메가존클라우드 스페이스원, 세계 최대 오픈소스 단체 리눅스 파운데이션 프로젝트로 등재클라우드 선도기업 메가존클라우드가 SpaceONE (스페이스원)의 Linux Foundation (LF, 리눅스 파운데이션) 프로젝트 등재를 30일 밝혔다. 메가존클라우드가 7월 25일 공식 출시한 ‘SpaceONE (이하 스페이스원)’은 기업들이 멀티·하이브리드 클라우드 인프라를 효율적으로 관리할 수 있도록 지원하는 CMP (Cloud Management Platform, 멀티 클라우드 관리 플랫폼) 솔루션이다. 스페이스원은 2018년부터 약 4년간의 인큐베이팅 과정을 거친 오픈소스 기반의 솔루션이기 때문에 해외 시장 진출에 용이하다는 강점을 보유하고 있다. 스페이스원이 이번에 등재된 세계 최대 오픈소스 비영리단체 리눅스 재단(Linux Foundation, LF)은 오픈소스인 Linux (리눅스)의 발전을 제고하기 위해 2000년 설립된 이후 전 세계 오픈소스 개발자들의 협업을 주도하고 있다. 글로벌 빅테크 기업은 물론이고 메가존클라우드를 포함한 국내 주요 기업들을 회원사로 두고 있으며 800개 이상의 프로젝트를 인큐베이션하고 있다. 대표적으로 현재 리눅스 외에도 Kubernetes (쿠버네티스), Xen (젠) 등 전 세계적으로 위상을 지니고 있는 오픈소스 프로젝트를 지원하고 있다. 스페이스원은 공식 론칭 이후 4개월이 채 지나지 않은 시점에 리눅스 재단에 프로젝트(오픈소스 프로젝트명: cloudforet, 클라우드포레)로 등재되며 이목을 끌었다. 오픈 소스 부문에서 세계적인 권위를 지니고 있는 리눅스 재단에 이름을 올린 CMP 프로젝트라는 점에서 의미가 있다. 메가존클라우드만의 프라이빗한 제품이 아닌 전 세계에 공유되고 지속적으로 발전하는 오픈소스 프로젝트로서 Cloudforet (클라우드포레)에 관심이 있는 누구나 개발 과정에 직접 참여할 수 있고 때로는 세부 프로젝트의 관리자가 될 수 있다는 점이 특징이다. SpaceONE은 11월 1일 Cloudforet (클라우드포레)라는 프로젝트명으로 리눅스 재단의 Cloud (클라우드), Container (컨테이너), Virtualization (가상화) 카테고리에 등록됐다. 해당 프로젝트를 진행한 메가존클라우드 클라우드 플랫폼 연구소 손춘호 연구소장은 이번 등재를 통해 Cloudforet가 향후 클라우드 관리 영역에서 대표적인 플랫폼(community standard tool, 커뮤니티 표준 플랫폼)으로 발전할 수 있기를 기대한다고 밝혔다. 동일한 카테고리 내에는 구글의 kubernetes (쿠버네티스), 페이스북의 GraphQL (그래프QL), 데이터브릭스의 MLFlow (ML플로우)와 Delta Lake (델타 레이크) 등이 있다. 메가존클라우드는 국내 및 아시아 최대 클라우드 관리 전문기업(MSP: Managed Service Provider)으로서 자체 클라우드 플랫폼 연구소를 운영하며 CMP 솔루션 연구 및 개발을 지원해오고 있다. 그 중 오픈소스 개발 전략을 통해 탄생한 스페이스원을 중심으로 향후 글로벌 및 국내 CMP 시장을 적극 공략한다. 국내뿐 아니라 해외 지사와의 협업을 통해 스페이스원의 글로벌 서비스를 상용화할 예정이다. 추후 프로젝트 이름을 딴 Cloudforet Foundation (클라우드포레 재단)을 설립해 클라우드 기반 기업들과 기술 협력을 지속하고 멤버십 기반의 기술 생태계를 조성하겠다는 전략이다. 해당 프로젝트를 이끈 메가존클라우드 클라우드 플랫폼 연구소 손춘호 연구소장은 “이번 등재를 통해 멀티클라우드 운영 관리에 대한 다양한 엔지니어들의 노하우를 집약시키고 클라우드 관리 방식을 혁신할 수 있는 프로젝트로 발전시켜 나갔으면 좋겠다”고 밝혔다. 메가존클라우드 이주완 대표는 “전 세계 연구소 및 기업과 개발자들의 협업을 주도하고 있는 리눅스 재단에 Cloudforet (클라우드포레) 프로젝트가 등재돼 영광이다. 전 산업군의 디지털 전환 추세에 맞물려 클라우드 관리 플랫폼에 대한 기업들의 수요가 눈에 띄게 늘고 있는 현 시점에서 메가존클라우드가 오픈소스 프로젝트를 추진하고 있는 국내 기업들의 청사진 역할을 할 수 있기 바란다. 글로벌 오픈소스 소프트웨어 시장에서 메가존클라우드가 한국을 대표하는 선두 기업으로 도약하고 국내 오픈소스 기술 개발 및 생태계 구축에 일조할 수 있도록 총력을 다하겠다”고 밝혔다. 메가존클라우드 및 메가존을 포함한 관계사는 2250여 명의 클라우드 전문 인력과 2021년 9300억원의 매출을 달성하고, 2022년 상반기 실적을 집계한 결과 올해는 1조4000억여 원의 매출을 무난히 달성할 것으로 예상된다. 국내와 더불어 미국, 캐나다, 중국 상해와 북경, 일본, 베트남, 홍콩, 싱가포르 등 해외 현지 법인도 운영 중이다. 메가존클라우드 개요 메가존클라우드는 국내 최대 클라우드 운영 관리(MSP, Managed Service Provider) 기업으로, 국내와 더불어 미국, 캐나다, 일본, 중국 상해와 북경, 베트남, 홍콩, 싱가포르 등지에 해외 현지 법인을 두고 있다. 지난해 메가존클라우드 및 메가존을 비롯한 관계사는 2250여 명의 클라우드 전문 인력과 2021년 9300억원의 매출을 달성하고, 2022년 상반기 실적을 집계한 결과 올해는 1조4000억여 원의 매출을 무난히 달성할 것으로 예상된다. 웹사이트: http://www.megazone.com