복잡한 SQL ETL, 이제 복사 붙여넣기 말고 선언적 파이프라인으로 한 번에 싹 다 개편해 봐
복잡한 SQL ETL, 이제 복사 붙여넣기 말고 선언적 파이프라인으로 한 번에 싹 다 개편해 봐
- 데이터브릭스가 레이크하우스 환경에서 데이터 웨어하우징 워크플로우를 단순화하는 선언적 ETL 패턴을 들고 나왔어.
- 복잡한 데이터 변환 프로세스를 일일이 코딩할 필요 없이 '어떤 결과를 원한다'고 선언하기만 하면 끝나는 방식이야.
- 데이터 엔지니어들의 반복적인 파이프라인 구축 수고를 덜어주고 데이터 처리 효율을 대폭 올려줄 것으로 보여.
의사 대체한다던 AI, 방사선과 의사 일자리 뺏기는커녕 일만 늘어난 이유
- AI가 방사선과 의사를 완전히 대체할 거라던 유명 학자의 예측, 결국 빗나갔어.
- 오히려 엑스레이나 CT 판독 물량이 폭증하면서 의사들의 업무 부담을 덜어주는 보조 도구로 자리를 잡았지.
- 단순 판독 작업은 AI가 돕더라도 최종 진단과 환자 상담 같은 인간 의사의 영역은 대체 불가능하다는 게 증명된 셈이야.