Parquet 및 Delta 파일을 빠르고 쿼리 가능한 HTTP API로 변환합니다.
Parquet, Delta 및 Iceberg 파일을 Arrow 또는 JSON 출력을 사용하는 유형화된 HTTP API로 노출하는 구성 기반 서버를 경험하십시오. DataPress는 DataPress 개발자 DataPress에서 제공하며, 열 형식 데이터 세트에 대한 저지연 액세스가 필요한 데이터 엔지니어 및 애플리케이션 개발자를 대상으로 합니다. 이 제품은 이중 실행 엔진(DuckDB 및 DataFusion), 메모리 내 데이터 세트의 핫 리로드 및 내장 메트릭을 제공하여 컨테이너화된 배포 및 Python 또는 CLI에서의 프로그래밍 제어에 적합합니다.
DataPress는 실제로 무엇을 게시하고 어떻게 게시합니까?
DataPress는 열 형식 데이터를 HTTP 엔드포인트로 게시합니다. Parquet, Delta 및 Iceberg 데이터 세트를 JSON 또는 Arrow IPC를 반환하는 유형화된 API로 변환합니다. 서버는 시작 시 스키마를 유추하므로 열을 수동으로 매핑할 필요가 없으며, 기본 파일에 대해 조인, 윈도우 함수 및 서브 선택을 검증하고 실행하는 선택적 원시 SQL 엔드포인트를 노출합니다.
쿼리 중 시스템 성능에 어떤 영향을 미칩니까?
성능은 열 형식 메모리와 제로 복사 경로에 중심을 둡니다. Rust로 구축된 이 도구는 큰 전송에 대한 JSON 직렬화 오버헤드를 피하기 위해 Arrow IPC를 사용하고, 메모리 압력을 줄이기 위해 열 형식 형식에 의존합니다. 동일한 API 계약 하에서 대기 시간을 비교하기 위해 DuckDB와 DataFusion 백엔드 간에 전환할 수 있으며, 핫 리로드는 서버를 재시작하지 않고 메모리 내 데이터 세트를 업데이트합니다.
생산 환경에 배포하는 것이 안전합니까?
생산 기능에는 가시성과 접근 제어가 포함됩니다. 서버는 모니터링을 위한 메트릭 및 상태 점검 엔드포인트를 노출하고, 데이터 세트 접근을 위해 OAuth2 및 OIDC를 지원합니다. 또한 Kubernetes 생존 및 준비 프로브와 네이티브 S3 객체 저장소 지원을 제공하여 컨테이너화된 배포 패턴 및 일반 클라우드 객체 저장소와 일치합니다.
운영하기 위해 깊은 Rust 또는 SQL 기술이 필요합니까?
운영 복잡성은 구성 및 SQL 친숙도로 기울어집니다. 독립 실행형 CLI 또는 프로그래밍 제어를 위한 Python 휠을 통해 서비스를 관리하며, 서버는 데이터 세트를 게시하기 위해 단일 구성 파일을 사용합니다. 일반 사용자들은 구성 스키마를 배워야 하며, 분석 팀과 엔지니어는 선택적 원시 SQL 엔드포인트와 백엔드 엔진 선택을 통해 직접 제어를 얻습니다.
빠르고 낮은 오버헤드 데이터 API가 필요한 엔지니어에게 적합
DataPress는 HTTP에 열(columnar) 데이터 세트를 신속하게 게시하고 생산 모니터링 및 인증이 필요한 데이터 엔지니어와 개발자에게 적합합니다. 특정 작업 부하에 맞게 조정할 때 구성 및 백엔드 비교에 시간을 투자할 것으로 예상하십시오. 단점은 운영 제어가 그래픽 관리 인터페이스가 아닌 구성 및 SQL 기술에 의존하기 때문에 코드와 인프라에 익숙한 팀에 가장 적합하다는 것입니다.
