microsoft / pg_durable

웹사이트 · 문서 · 빠른 예제 · GitHub

PostgreSQL 내부에서의 내구성 실행

긴 실행 시간과 장애 허용 SQL 함수를 위해, 이미 상태를 Postgres에 유지하고 있는 팀이 백그라운드 작업을 신뢰성 있게 만들기 위해 cron 작업, 워커, 큐, 상태 테이블을 연결하는 일을 중단하고자 할 때 사용합니다. SQL에서 워크플로우를 정의하고, pg_durable이 각 단계를 체크포인트하도록 하며, 크래시, 재시작 또는 실패한 단계 이후에 다시 실행을 이어갈 수 있습니다.

내구성 실행은 이제 표준 산업 패턴이며, pg_durable은 추가적인 서비스 인프라 없이 Postgres 내부에서 이를 제공합니다. 데이터 근처에서 컴퓨팅을 가져오는 우리의 미션의 일부입니다.

지금 Azure HorizonDB에서 pg_durable을 사용해 보세요. 이는 Microsoft의 새로운 PostgreSQL 클라우드 서비스로, 성능을 위해 설계되었으며 내부에 pg_durable이 포함되어 있습니다.

이것이 나에게 맞을까?

대상 사용자

• 자신이 다루는 데이터 옆에 워크플로우를 두고 싶은 백엔드 및 데이터 엔지니어.
• 재시작 후에도 살아남아야 하고 SQL에서 감사 가능해야 하는 Runbook을 자동화하는 DBA 및 SRE.
• 행, 문서 또는 배치 단위로 내구성 실행이 필요한 데이터 또는 AI 파이프라인을 구축하는 팀.

핵심 아이디어

pg_durable 함수는 PostgreSQL이 실행하고 진행 상황을 체크포인트하는 SQL 단계들의 그래프입니다. 데이터베이스가 크래시, 재시작되거나 단계가 실패하면, 실행은 마지막 내구성 체크포인트부터 이어지며, 수동으로 상태를 재구성할 필요가 없습니다.

유용한 작업 부하

• 벡터 임베딩 파이프라인: 데이터를 분할하고, 임베딩 API를 호출하며, pgvector에 업서트.
• 인제스트 파이프라인: 단계별 처리, d

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.