(사례) 6개월간의 API 테스트 자동화 운영

APIJ Unit 비고구분API_전체성공API_실패Junit_전체성공Junit_실패 Line Coverage 2018.09.177877072711 2018.09.241261071972711 추석2018.10.011261002672 2018.10.0810298472720 API테스트에서 중복테스트건이 있으며 제외처리2018년10월15100100089890 실패하는 침하기 API테스트ignore 처리커버리지 개선 등을 위해 테스트코드 추가(+17)2018.10.22100861489287 . 최근 본 관련 503 Service Unavailable. JUnit : 스프링 컨텍스트 로딩에서 공통적으로 실패 접속이 거부됨 : cb-dev.tmonc.net/10.11.75.18:8091)2018.10.22+101101089890 . API : 테스트 데이터 변경으로 인한 실패 2건 등 수정 완료. JUnit : 서버 정상 부팅으로 성공 확인 2018.10.29102102089890 . API : 코드 변경 내용에 따라 추가 TC 생성(+2) 2018.11.05102102089890 . API : 실패 1건, 테스트 데이터 변경으로 인해 데이터 정의 변경 2018년 11월 121089863. JUnit : Board Controller Test에서 503, 회원 정보가 없습니다 오류 발생2018.19104104089890. API: API 1개의 테스트 추가(TC2개), 테스트 실패 1건이 있으며 조치-테스트에 사용할 딜(1460196042) 콘텐츠 정보가 조회되지 않아 동기화 후 정상적인 실행 확인 2018년 11월 2610610608989071.90%. API : 기존 테스트 실패(설정 변경) 확인 과정에서 2개의 TC 추가 2018년 12월 0310610609292074.5. JUnit : 테스트 커버리지 확보를 위해 테스트 추가 2018년 12.10710709292074.5. API : 코드 변경을 통해 TC 1개 추가 2018.1167318.119. API : 무이자 혜택 관련 API 변경으로 인한 API 테스트 추가 / testGetSearch Review_존재하지 않는 리뷰 번호 테스트 실패. JUnit : 커스텀딜 관련 JUnit 코드가 추가된 것으로 보이는 2018년 12월 23일 12월 23일 12월 23일 1164.5973116**4개실패-1460196042딜정보없음*1개실패-지난주실패건그대로실패(이메일로확인요청해도대응안됨)2018년12월26일121120194940.API:딜정보동기후정상적인pass확인2018년12월31일12112019494072.8.API:3건추가실패(기존기간조회2018-12-31에따라최근등록건조회가안되는현상이있어수정),전주실패내용그대로실패2019.01.21.19349349.014.049439.API:직본플로테스트기대결과 체크수정(없어도 성공할 수 있도록) 2019.01.211211 2019 494073.API:1건 실패건 그대로 실패 2019.02.041211165940.설 기간이라 상세 미확인 2019.02.07121094940 73.50%. API: 실패 3건 수정 반영(계속 실패하는 test Get Search Review 처리 케이스 제외). JUnit: Detail Statistics Controller Test 200이 아닌 500 반환 건(Connect Timeout Exception: Connecttoelk1.tmonc.net:9200) 이메일로 공유하였으나 지원되지 않음 2019.04.15120120010099174.20%.API: 테스트 코드를 수정하여 모두 성공 2019.04.2211731021020.API: 휴가 중이었기 때문에 3건 실패 확인이 되지 않아 2019.04.2912011731021074.90%. API: (1) test PartnerQnaFlow_추가된 스펙 찾아서 추가(partnerNo) (2) 카드혜택정보 조회딜 정보변경으로 인해 ignore 처리(혜택딜 찾을 수 없음)(그림 2-마찬가지로 관리하고 있던 하나의 서비스(서버 영역)에 대한 JUnit 결과도 추가한 표)(표1-주차별 상세현황,히스토리)(표1-주차별 상세현황,히스토리)APIJ Unit비고 구분 API_전체 성공 API_실패 Junit_전체 성공 Junit_실패 Line Coverage 2018.09.177878072711 2018.09.241261071972711추석 2018.10.011261002672702 2018.10.0810298472720 API시험에서 중복 시험 문제가 있어 제외 처리 2018년 10월 15100100089890실패했던 침하기 API시험 ignore처리 커버리지 개선 등 때문에 테스트 코드를 추가(+17)2018.10.22100861489287. 최근 본 관련 503 Service Unavailable. JUnit:스프링 콘텍스트 로딩에서 공통적으로 실패 접속이 거부된다:cb-dev.tmonc.net/10.11.75.18:8091)2018.10.22+101101089890.API:테스트 데이터의 변경으로 실패 2건 등 수정 후. JUnit:서버 정상 실행에서 성공 확인 2018.10.29102102089890.API:코드 변경 내용에 따른 추가 TC쓰기(+2)2018.11.05102102089890.API:실패 1건, 테스트 데이터 변경에 의한 데이터 정의 변경 2018년 11월 12102089863. JUnit:Board ControllerTest에서 503회원 정보가 없습니다 오류 발생 2018.11.19104104089890.API:API1개 테스트 추가(TC2개), 테스트 실패 1건이 있는 조치-테스트에 사용하는 딜(1460196042)콘텐츠 정보가 조회되지 않고 동기 후의 정상적인 실행 확인 2018년 11월 2610610608989071.90%. API:기존의 시험 실패(설정 변경)확인 과정에서 2개의 TC를 추가 2018년 12월 0310610609292074.5. JUnit:테스트 커버리지 확보 때문에 테스트 추가 2018년 12.10710709292074.5.API:코드 변경에 따른 TC1개 추가 2018.116731164.1167318.119.API:무이자 혜택 관련 API변경에 따른 API시험 추가/testGetSearchReview_ 없는 리뷰 번호 테스트 실패. JUnit:커스텀 딜 관련 JUnit코드가 추가된 것으로 보인다 2018년 12월 23일 12111659494073.2.API:커스텀 딜 조회 관련 TC추가, API:커스텀 딜 조회 관련 TC추가,**4개 실패-1460196042딜 정보 없이**1개 실패-지난주의 실패 건 그대로 실패(E메일로 확인 요청하더라도 대응할 수 없다)2018년 12월 26일 121120194940.API:딜 정보 같은 기간 후 정상적인 pass확인 2018년 12월 31일 12112019494072.8.API:3건을 더 추가 실패(기존 기간 조회 2018-12-31의 최근 등록 건 조회하지 못하는 현상이 있는 수정), 전 실패 내용 그대로 실패 2019.01.0712112019494073.01.21.19349349.014.2049439.API:최근 본 프로 테스트에서의 데이터 변경(판매 종료)에 의한 최근 본 추가되지 않고 실패하는 것은 구입 후 후기를 올려리스트에서 시간의 경과와 함께 결과가 사라지고기대 결과 점검 수정(없이도 성공하도록)2019.01.2112112019494073.API:1건 실패 건 그대로 실패 2019.02.041211165940.설 연휴 기간 때문에 상세 미확인 2019.02.0712109494073.50%. API:실패 3건 수정 반영(계속 실패했던 testGetSearchReview처리 사례를 제외한(ignore). JUnit:DetailStatisticsControllerTest200이 아니라 500반납건(ConnectTimeoutException:Connecttoelk1.tmonc.net:9200)E메일로 공유했지만 미대응 2019.04.15120120010099174.20%.API:테스트 코드를 수정하고 모두 성공 2019.04.2211731021020.API:휴가 중이었기 때문에 3건 실패 확인하지 못하고 2019.04.291201173102102074.90%. API:(1)testPartnerQnAFlow_추가된 스펙을 찾아 추가(partnerNo)(2)카드 혜택 정보 조회 딜의 정보 변경에 의한 ignore처리(혜택 빅딜이 없다)APIJ Unit 비고구분API_전체성공API_실패Junit_전체성공Junit_실패 Line Coverage 2018.09.177877072711 2018.09.241261071972711 추석2018.10.011261002672 2018.10.0810298472720 API테스트에서 중복테스트건이 있으며 제외처리2018년10월15100100089890 실패하는 침하기 API테스트ignore 처리커버리지 개선 등을 위해 테스트코드 추가(+17)2018.10.22100861489287 . 최근 본 관련 503 Service Unavailable. JUnit : 스프링 컨텍스트 로딩에서 공통적으로 실패 접속이 거부됨 : cb-dev.tmonc.net/10.11.75.18:8091)2018.10.22+101101089890 . API : 테스트 데이터 변경으로 인한 실패 2건 등 수정 완료. JUnit : 서버 정상 부팅으로 성공 확인 2018.10.29102102089890 . API : 코드 변경 내용에 따라 추가 TC 생성(+2) 2018.11.05102102089890 . API : 실패 1건, 테스트 데이터 변경으로 인해 데이터 정의 변경 2018년 11월 121089863. JUnit : Board Controller Test에서 503, 회원 정보가 없습니다 오류 발생2018.19104104089890. API: API 1개의 테스트 추가(TC2개), 테스트 실패 1건이 있으며 조치-테스트에 사용할 딜(1460196042) 콘텐츠 정보가 조회되지 않아 동기화 후 정상적인 실행 확인 2018년 11월 2610610608989071.90%. API : 기존 테스트 실패(설정 변경) 확인 과정에서 2개의 TC 추가 2018년 12월 0310610609292074.5. JUnit : 테스트 커버리지 확보를 위해 테스트 추가 2018년 12.10710709292074.5. API : 코드 변경을 통해 TC 1개 추가 2018.1167318.119. API : 무이자 혜택 관련 API 변경으로 인한 API 테스트 추가 / testGetSearch Review_존재하지 않는 리뷰 번호 테스트 실패. JUnit : 커스텀딜 관련 JUnit 코드가 추가된 것으로 보이는 2018년 12월 23일 12월 23일 12월 23일 1164.5973116**4개실패-1460196042딜정보없음*1개실패-지난주실패건그대로실패(이메일로확인요청해도대응안됨)2018년12월26일121120194940.API:딜정보동기후정상적인pass확인2018년12월31일12112019494072.8.API:3건추가실패(기존기간조회2018-12-31에따라최근등록건조회가안되는현상이있어수정),전주실패내용그대로실패2019.01.21.19349349.014.049439.API:직본플로테스트기대결과 체크수정(없어도 성공할 수 있도록) 2019.01.211211 2019 494073.API:1건 실패건 그대로 실패 2019.02.041211165940.설 기간이라 상세 미확인 2019.02.07121094940 73.50%. API: 실패 3건 수정 반영(계속 실패하는 test Get Search Review 처리 케이스 제외). JUnit: Detail Statistics Controller Test 200이 아닌 500 반환 건(Connect Timeout Exception: Connecttoelk1.tmonc.net:9200) 이메일로 공유하였으나 지원되지 않음 2019.04.15120120010099174.20%.API: 테스트 코드를 수정하여 모두 성공 2019.04.2211731021020.API: 휴가 중이었기 때문에 3건 실패 확인이 되지 않아 2019.04.2912011731021074.90%. API: (1) test PartnerQnaFlow_추가된 스펙 찾아서 추가(partnerNo) (2) 카드혜택정보 조회딜 정보변경으로 인해 ignore 처리(혜택딜 찾을 수 없음)

error: Content is protected !!