테스트 데이터 관리 도구(Dataprof)

이전에 테스트 데이터에 대해 다뤄보았었고, 이러한 데이터 관리 툴을 사용 후기를 포스팅한다.

2021.12.28 - [Test/Theory] - Test Data의 개념과 데이터 생성부터 관리 방법 A-Z

 

Test Data의 개념과 데이터 생성부터 관리 방법 A-Z

---

Management Tool

작은 규모의 테스트 데이터라면 매뉴얼하게 관리할 수 있지만, 규모가 커질 수록 관리의 어려움이 생기고 이때 사용할 수 있는 툴은 다음 링크를 통해 확인해보자. 기능 비교를 위해 Trial로 직접 사용해보는게 더 좋은 것 같다. Document로 어느정도 파악은 되지만, UI, 사용성, 통합성, 기술 지원, 가격을 고려하여 선택하면 좋을 것 같다.

 

핑프하지 않기 위한 베스트 툴 검색 자료

https://www.softwaretestinghelp.com/tools/14-test-data-management-tools/

https://theqalead.com/tools/best-test-data-management-tools/

 

---

Dataprof 사용 후기

DATPROF - PV/SB/RT/AZ로 나뉘어져 있으며, 기능에 따라 솔루션이 나뉘어져 있다. 이 중 SB, PV를 Trial로 사용해봤다. 결론부터 말하면 비용이 비싸다면 사용하지 않을 것 같다. Devops라면 사용할까..? AI, 데분하는 사람은 안 쓸 것 같다함

---

기본 셋팅

MYSQL에 샘플용 db 스키마와 데이터를 추가해서 사용(https://github.com/datacharmer/test_db)

역시 설치가 제일 어렵다. Mysql 설치하다가 엄청 버버벅 :(

---

SB(Subsetting):

ProjectSettings->Development->Deployment 순서의 GUI를 나타낸다

 

요약

• DB를 연결하여 메타 데이터와 스키마를 임포트
• 사용자가 원하는 필드 및 튜플을 추출하기위해 쿼리로 사용/제거/empty 상태로 classify 과정을 거친다.
• DME(data model export) 파일로 Deploy하는 방식이다. 하지만,, 스키마 맵핑이 안되는 문제를 해결 못해 deployment 결과물 못 본 건 비밀

다운로드 받을 때 입력한 메일로 Trial 라이선스 키를 발급 받음

New project를 생성하여 import할 메타 데이터와 Key를 선택한다. Filter도 가능하니, 원하는 테이블, 어트리뷰트를 선택할 수 있다.

개별적 선택 가능(왼쪽 원본 오른쪽 import 할 것) 

사진 사이즈가 커 업로드 시 흐릿해서 슬픔

 

Development 단계

Start table을 선택해 query를 작성해 Filtering 할 수 있다. 그리고 라벨링할 수 있으며, Subset, Full, Empty, Unused로 구분할 수 있다.

 

Deployment는 DME 파일로 export 할 수 있으며, 추가적으로 ERD같은 Data Model에 대한 시각화도 가능하다.

Model Visualization

Deployment 단계

아쉽게도... Deploy 시작을 누르면 체크체크체크되며 넘어가고 결과물 뙇 기대했는데, 안됐다. 좀 더 시간 써서 해결할 순 있지만, 귀차니즘으로 패스...

Schema Mapping 왜 안되냐고 ㅠㅠ

Deploy 상세 옵션

자세한 내용은 매뉴얼 문서에 나와있으므로 참고하길 바랍니다.

매뉴얼 문서 링크: https://docs.datprof.com/subset/latest/requirements

---

PV(Privacy)

마스킹 기능을 위한 솔루션으로 Project settings/Deployment는 단계는 SB와 동일하고, Masking 단계만 다르다.

 

Table에서 특정 컬럼을 선택하여 Add function을 눌러 privacy처리할 수 있다.

이때 Datatype에 따라 활성화되는 기능은 다르다. date 형식이므로 Shuffle만 되지만, VARCHAR라면 Blank도 가능

 

어떤 Function을 실행할지 선택하고, grouping하여 특정 컬럼에 대해 function을 수행한다. 

 

예를 들어, Gender에 group을 선택하고 first_name과 shuffle하면 아래처럼 gender를 기준으로 name이 셔플된다.

(공식 document 이미지)

 

Deployment 단계

SB에서는 시작도 안되더니, 뭔가 되는 것 같다??

 

는 착각이였다 ^^. mysql 그냥 최신 버전에 next and next하며 막 깔았더니 Dataprof에서 지원하는 요구조건과 뭔가 안 맞는 것 같다. 젠장. mysql8.0 지원한대서 깔았는데...

매뉴얼 링크: https://docs.datprof.com/privacy/latest/requirements

---

마치며

TC 작성 뿐만 아니라 자동화 시에도 유용하게 사용되므로 툴을 이용해 관리하여 품질을 높이는 하나의 방안으로 활용 가치를 높여보자! 그리고 기본 쿼리도 헷갈리는 내모습을 보며, 능력자 QA가 되기 위해 DB를 잘 다루면 좋을 것 같다.