팀이 신경써야 할 17가지 중요한 애자일 지표

메트릭은 애자일리스트의 오랜 논쟁거리였습니다.

고품질 소프트웨어의 지속적인 제공으로 인해 애자일 개발이 경험적이라는 사실에도 불구하고 PMO 사무실, 프로젝트 관리자 및 고객은 모두 폭포수 기반 프로젝트에서와 마찬가지로 여전히 상세한 상태 보고를 요구합니다. 비즈니스 요구가 감독의 한 가지 이유이지만 애자일 개발 자체는 일부 사람들이 항상 정하고 싶어하는 수준의 불확실성에 기여합니다.

이러한 경향을 극복하기 위해 많은 애자일리스트는 측정을 전혀 사용해서는 안 되며 소프트웨어 자체의 생산만 성공의 척도로 간주해야 한다고 주장합니다. 이 접근 방식을 지지하는 사람들은 개발 팀과 프로젝트 관리자가 직관적으로 사용자 스토리와 추정치를 조작하여 효율성이 높은 것처럼 보이게 하고 실제 문제를 숨기는 방식으로 시스템을 조작할 것이라고 주장합니다. 그러나 측정된 것은 완료된다는 격언이 있습니다.

이러한 게임이 발생하는 주된 이유는 조직이 포괄적인 메트릭 솔루션 대신 하나 또는 두 개의 메트릭에 너무 많이 의존하기 때문입니다. 이 기사에서는 팀 성과, 품질, 가치, 민첩성 측면에서 사용할 수 있는 최고의 인텔리전스를 생성하는 것으로 입증된 메트릭에 대해 논의할 것입니다. 최신 연구와 가장 혁신적인 사례 연구를 기반으로 하여 들어 본 적이 없는 몇 가지 측정항목에 대해서도 이야기할 것입니다.

애자일 메트릭은 무엇에 사용됩니까?

애자일 메트릭은 상태, 품질, 생산성, 효율성, 가치 및 민첩성 자체를 추적하는 데 사용됩니다. 가장 중요한 것은 비즈니스 결정을 알리는 데 사용된다는 것입니다. 작업 중인 프로젝트의 종류에 관계없이 보고는 항상 외부 및 내부 이해 관계자 모두에게 중요합니다. 메트릭은 제품 관리에서 직원 관리에 이르기까지 모든 수준에서 의사 결정에 영향을 줄 수 있으므로 정확하고 유익하며 편견이 없어야 합니다. 측정항목에 대해 알아보기 전에 먼저 이러한 모든 측정의 기반이 되는 기반을 설정해야 합니다.

철의 삼각형 대 애자일 삼각형

계획 기반 접근 방식에서 측정은 범위, 일정 및 비용의 오래된 "철의 삼각형"을 기반으로 했습니다. 대부분의 모든 측정항목은 이 세 가지 범주 중 하나에 속했습니다. 애자일 세계에서 이 삼각형은 뒤집어졌습니다. 프로젝트는 특정 제약 조건 내에서 가치와 품질을 제공함으로써 정의됩니다. 예산이나 비용은 무엇보다도 이러한 제약 중 하나일 뿐이며 전달의 주요 초점이 되는 것과는 대조적입니다.

여기서 가치와 품질 간의 관계를 이해하는 것이 중요합니다. 많은 사람들이 가치를 정의하는 데 어려움을 겪습니다. 첫째, 품질에는 본질적인 것과 외적인 것의 두 가지 유형이 있습니다.

• 본질적인 품질 은 개발, 테스트 및 관리 팀의 제품 내부 인식과 관련이 있습니다. 일반적으로 결함 메트릭으로 설명되며 나중에 설명합니다.
• 외부 품질 은 최종 사용자가 인식하는 제품의 품질입니다. 제품이 그들의 요구에 얼마나 잘 부합하고 기대에 부응하는지. 이 외적 품질에 대한 또 다른 용어는 가치입니다.

따라서 애자일 삼각형에 묘사된 품질은 개발 관점에서 내재적 또는 내적 품질인 반면 삼각형의 가치는 실제로 외적 품질의 한 형태라는 것을 이해하는 것이 중요합니다. 이 관계를 이해하는 것은 좋은 애자일 조치를 개발하는 데 중요합니다.

추적할 17가지 핵심 애자일 지표

다음의 17가지 측정항목 목록은 가장 자주 사용되는 오래된 애자일 측정항목과 최근 연구에 기반한 최신 측정항목을 결합한 것입니다. 여기서 중요한 점은 모든 애자일 메트릭 솔루션이 포괄적이어야 한다는 것입니다.

한두 가지에만 의존하는 것만으로는 현재 상황에 대한 완전한 그림을 얻을 수 없습니다. 많은 관리자들이 저지르는 가장 큰 실수는 전체 프로젝트에서 두세 가지 또는 하나의 지표에만 너무 집중하는 것입니다. 일부 조직에서는 속도 또는 번다운 차트만 사용합니다.

믿거나 말거나, 그것은 발생합니다. 좋은 메트릭 솔루션은 애자일 삼각형의 세 지점을 모두 포함해야 합니다. 이 17개는 바로 그 이상을 수행할 수 있는 도구를 제공합니다.

차단된 시간

차단된 시간은 특정 사용자 스토리 또는 때로는 작업이 차단된 시간으로 정의됩니다. 차단 요소를 해결하는 것은 애자일 환경에서 작업 흐름을 촉진하는 데 중요하며 이 메트릭은 문제를 해결하는 데 걸리는 시간을 측정하는 데 도움이 될 수 있습니다. 차단기는 신속하게 해결해야 합니다.

차단 시간의 증가는 사용자 스토리가 제대로 분해되지 않았거나 계획되지 않은 외부 리소스에 대한 종속성이 있음을 의미할 수 있습니다. 차단된 시간은 사용자 스토리 분해, 우선 순위 지정 및 스프린트 계획을 보다 신중하게 수행하면 줄일 수 있습니다.

사업 추진력

여기에서 논의된 많은 측정항목은 꽤 오랫동안 사용되어 왔습니다. 대부분은 프로젝트, 팀 또는 WIP(진행 중인 작업) 수준에 중점을 둡니다. 그러나 기술이 일상 생활에 더 많이 통합되고 해당 제품에 대한 시장이 매우 가속화됨에 따라 조직은 시장 동향을 식별하고, 프로세스 개선을 측정하고, 경쟁을 예측하고, 본질적으로 민첩성을 측정할 수 있는 보다 정교한 메트릭을 찾고 있습니다. 비즈니스 모멘텀도 그 중 하나입니다. 이 맥락에서 추진력은 타임라인으로 곱한 릴리스의 총 스토리 포인트로 표현될 수 있습니다.

조직이 더 민첩해짐에 따라 각 릴리스에서 추진력을 얻습니다. 주기 시간이 단축되고 배송에 대한 기대치가 높아집니다. 비즈니스 모멘텀은 시장 타이밍에 사용하거나 특정 제품 라인이나 프로그램의 상태를 나타내는 지표로 사용할 수 있습니다. 모멘텀이 감소하기 시작하면 특정 시장이 작동하기 시작하고 새로운 제품 라인을 개발해야 한다는 경영진의 표시입니다. 애자일 조직은 경쟁력을 유지하기 위해 지속적으로 새로운 시장을 찾아야 합니다.

코드 적용 범위

코드 적용 범위는 테스트 중에 실제로 실행되는 코드의 양을 측정한 것입니다. 이것은 일반적으로 자동화된 테스트 전략의 일부로 계측되고 계산됩니다. 메트릭은 각 테스트 단계(단위, 시스템 등) 동안 실행된 코드의 전체 비율과 모든 단계의 합계를 제공해야 합니다.

코드 커버리지는 제품이 얼마나 잘 테스트되었는지를 나타내는 지표로 오용되어서는 안 됩니다. 오히려 이 지표의 목표는 테스트 자동화를 촉진하고 지속적인 전달을 모니터링하는 것입니다. 품질 보증 측정에는 다양한 메트릭이 포함되어야 하며, 그 중 최소한 나중에 논의되는 결함 발생이 포함되어야 합니다.

관리도

공정 행동 또는 Shewhart 차트라고도 하는 관리도 는 설정된 관리 상한, 하한 및 평균 관리 한계에 따라 공정이 관리 상태인지 또는 통제 불능 상태인지를 결정하기 위해 프로세스의 성능을 모니터링합니다.

이러한 한계는 샘플 데이터의 표준 편차를 추정하고 그 편차에 3을 곱한 다음 평균에 더하여 상한을 만들고 평균에서 빼서 하한을 만드는 방식으로 계산됩니다. 차트의 Y축은 특정 샘플의 발생 또는 문제 수이고 X축은 각 샘플을 열거합니다. 관리도는 품질 관리의 한 형태로 제조에서 시작되었으며 거의 ​​100년 동안 사용되었습니다.

6시그마 제자들에게 인기 있는 관리도는 품질 관리 또는 기타 제조 프로세스의 실패 또는 성공을 측정할 수 있습니다. 애자일 세계에서 대중화되지는 않았지만 제어 차트를 사용하여 반복 또는 릴리스당 발견된 결함을 측정하여 QA 테스트 문제를 식별하거나 일련의 릴리스에 대한 주기 시간을 측정하여 허용 가능한 수준 내에 있는지 확인할 수 있습니다.

누적 흐름도

누적 흐름도는 유형별로 분류된 시간 경과에 따라 팀에 할당되는 작업의 양을 보여줍니다. 그 목적은 시스템 전체에서 작업이 얼마나 잘 흐르고 있는지 모니터링하는 것입니다. 이 다이어그램에서 작업은 수행, 진행 중 및 완료와 같은 다양한 유형으로 나뉩니다. 요구 사항, 개발, 테스트 등으로 나눌 수도 있습니다. 그러나 세분화되어 누적 흐름도는 각 작업 유형에 대한 선을 표시하며 Y축의 작업 항목 수와 시간의 함수인 X축이 있습니다.

좋은 흐름은 이러한 모든 라인이 병렬로 실행되는 것으로 설명됩니다. 선 중 하나가 급격한 상승을 경험하거나 다른 선을 넘으면 병목 현상을 나타낼 수 있습니다. 좋은 흐름을 달성하는 것은 칸반의 핵심 개념입니다. 누적 흐름 다이어그램은 병목 현상을 식별하여 지속적인 흐름을 촉진하고 WIP가 시스템의 어느 한 지점에서 통제를 벗어나지 않도록 합니다.

주기 시간

주기 시간은 개념에서 완료까지 소프트웨어 릴리스를 생성하는 데 걸리는 시간으로 정의할 수 있습니다. 리드 타임 및 속도와 함께 주기 시간은 애자일 상태 및 애자일 변환 성공의 매우 좋은 상위 수준 지표입니다. 조직이 애자일 여정을 진행함에 따라 주기 시간은 일반적으로 6개월 이하로 점진적으로 감소해야 합니다. 주기 시간의 증가는 특히 한두 번의 릴리스에 걸쳐 지속적으로 관찰되는 경우 우려와 검토의 원인이 되어야 합니다.

에픽 및 릴리스 번다운

에픽 및 릴리스 번다운 차트는 아래에서 논의되는 항상 인기 있는 스프린트 번다운과 유사합니다. 번다운 차트는 주어진 기간 동안 또는 이 예에서는 특정 에픽에 대해 얼마나 많은 작업이 남아 있는지 보여줍니다. 애자일 개발에서 에픽은 더 작은 사용자 스토리 또는 작업 덩어리로 구성된 더 큰 사용자 스토리입니다.

작업이 완료되면 에픽의 사용자 스토리 수가 0이 될 때까지 점차적으로 줄어듭니다. 이는 계약 요구 사항을 충족하고 고객에게 청구하기 위해 이정표에 도달해야 하는 경우에 유용할 수 있습니다. 마찬가지로 릴리스 번다운은 특정 릴리스에 대해 커밋된 작업의 진행 상황을 추적할 수 있습니다. 이는 정시 배송을 보장하거나 기한을 조기에 변경해야 할 필요성을 식별하는 데 사용할 수 있습니다.

실패한 배포

실패한 배포는 다음 중 하나를 초래하는 배포입니다.

• 서비스 중단에 영향을 미치는 서비스
• 고객의 기대에 부응하지 못하여 릴리스가 거부되는 경우가 많습니다.
• 제품의 사용성, 작동 또는 사용자 경험에 심각한 영향을 미칩니다.
• 이전 릴리스로 롤백됩니다.

분명히 전체 배포의 백분율로 표시되는 실패한 배포 비율은 최소로 유지되어야 합니다. 이 메트릭의 급증은 우려의 원인이 되어야 합니다. 근본 원인을 분리하기 위해 변화율과 결함 발생을 검토해야 합니다.

리드 타임

리드 타임은 작업이 생성된 순간부터 완료되는 시점까지 작업을 완료하는 데 걸리는 시간을 측정합니다. 간단히 말해서 작업을 완료하는 데 걸리는 시간을 식별합니다. 칸반 실무자들에게 인기 있는 이 메트릭은 시스템을 통해 작업을 더 빠르게 이동하기 위한 효율성을 식별하는 데 도움이 될 수 있습니다. 또한 지속적 전달이 얼마나 잘 작동하는지를 결정하기 위한 상위 수준 메트릭으로 사용할 수 있습니다. 주기 시간 및 속도와 함께 리드 타임을 함께 사용하여 납품 성과에 대한 전체적인 관점을 제공할 수 있습니다.

순 프로모터 점수(NPS)

순 프로모터 점수는 고객 만족도를 평가하는 데 도움이 됩니다. 일반적으로 설문 조사를 통해 얻은 데이터를 기반으로 계산됩니다. 목표는 얼마나 많은 고객이 귀하의 제품을 추천할 것인지 알아내는 것입니다. 점수를 생성하기 위해 "예" 투표자에서 "아니오"로 투표한 응답자의 비율을 뺍니다.

고객 만족도를 측정하는 것 외에도 순 프로모터 점수는 고객이 향후 릴리스를 위해 혁신적인 제품 또는 기술에 대해 협력할 의사가 있는지 식별하는 데 도움이 될 수 있습니다. 이러한 고객은 피드백과 지원을 통해 경쟁업체보다 먼저 신제품을 시장에 출시할 수 있으므로 경쟁 우위가 될 수 있습니다.

품질 인텔리전스

기사의 시작 부분에서 우리는 민첩한 삼각형과 부품 품질이 그 안에서 차지하는 역할에 대해 논의했습니다. 품질 인텔리전스는 다양한 형태를 취할 수 있지만 일반적으로 다양한 결함 추적 메트릭으로 구성됩니다. 결함이 발생한 위치와 시기, 빈도 및 심각도에 따라 결함을 모니터링할 수 있습니다.

가장 널리 사용되는 것 중 하나는 결함 이스케이프 비율로, 릴리스에서 발견된 총 결함 수에 대한 클라이언트가 발견한 결함의 비율입니다. 많은 수의 결함이 발견되는 방법에 관계없이 우려해야 하지만 항상 고객이 발견하기 전에 먼저 발견하는 것이 가장 좋습니다.

스프린트 번다운

스프린트 번다운 차트는 완료된 작업의 일일 측정값과 주어진 스프린트에서 완료해야 하는 작업을 제공합니다. 완료된 작업량을 원래 추정치와 비교합니다. 애자일 개발의 경험적 특성으로 인해 번다운 차트의 가치는 매우 제한적입니다.

그 인기에도 불구하고 많은 애자일 코치들은 이전만큼 많이 사용하지 않고 있습니다. 이는 개발 팀이 약속에 반대하는 위치에 대한 좋은 지침 또는 상태 지점 역할을 할 수 있지만 진행 상황에 대한 전체 그림을 얻기 위해 다른 메트릭과 함께 사용해야 합니다.

처리량

특정 시간 단위당 고객에게 전달된 제품의 수량(작업 항목 수)을 처리량이라고 합니다. 이는 월별, 분기별, 릴리스별, 반복별 등으로 측정될 수 있습니다. 이 메트릭의 값은 특정 기간 동안 제공할 수 있는 소프트웨어의 양을 결정하는 데 사용할 수 있다는 것입니다. 또한 팀 및 조직 관점에서 전달의 일관성을 추적하는 데 사용할 수도 있습니다.

과거 데이터의 경험적 분석을 사용하여 배송 성과를 예측할 수 있습니다. 사용 가능한 과거 데이터가 많을수록 예측이 더 정확해질 수 있습니다. 가장 중요한 것은 제공되는 기능의 가치가 재정적 측면에서 잘 이해된다는 점을 감안할 때 이 지표를 수익 예측에도 사용할 수 있다는 것입니다. 이 메트릭이 작동하려면 "완료"의 정의가 잘 정의되어야 합니다. 고객에게 제공되는 소프트웨어만 이 요구 사항을 충족합니다.

가치 전달

이 기사의 시작 부분에서 우리는 가치가 어떻게 외적 품질 또는 최종 사용자의 제품 인식으로 구성되는지에 대해 논의했습니다. 제품이 클라이언트의 비즈니스에 어떤 영향을 미칩니까? 좋은 애자일 메트릭은 결과를 기반으로 하며 비즈니스 세계에서는 일반적으로 달러와 센트로 변환됩니다. 소요되는 작업을 추정하기 위해 각 사용자 스토리에 스토리 포인트를 할당하는 것처럼, 작업이 완료되었을 때 최종 사용자가 얻는 것을 나타내는 상대적인 측정값으로 가치 포인트를 추가할 수도 있습니다.

이를 수행하는 한 가지 방법은 각 스토리가 완료될 때 누적되는 가치 점수의 수를 나타내는 번-업 차트를 사용하는 것입니다. 수락 기준이 만들어지는 동안 고객 인식을 기반으로 각 스토리 또는 기능에 가치 포인트를 할당할 수 있습니다. 프로젝트에서 클라이언트의 예상 수익(또는 절약된 비용)은 릴리스의 총 가치 포인트 수로 나눌 수 있습니다.

예를 들어 프로젝트에 200개의 가치 포인트가 있고 고객이 100만 달러의 수익을 얻을 것으로 예상되는 경우 각 가치 포인트의 가치는 $5,000입니다. 각 스토리의 총합과 누적 가치를 번업 그래프로 나타낼 수 있습니다. 제품이 출시될 때까지 제품의 실제 영향이 분명하지 않을 수 있지만 이 방법은 경영진과 고객 모두에게 강력한 재무 정보를 제공할 수 있습니다.

속도

속도는 아마도 우리가 애자일 개발에 입문한 후 가장 먼저 듣는 지표일 것입니다. 틀림없이 가장 인기 있는 애자일 메트릭이지만 가장 오용되기도 합니다. 스프린트 팀은 게임 속도가 성능 보고에 매우 많이 의존하기 때문에 게임 속도에 대해 악명이 높습니다. 속도는 각 반복 또는 스프린트에서 생성된 소프트웨어의 양으로 정의됩니다. 이 양은 일반적으로 스토리 포인트로 표현되며 생산된 소프트웨어는 기능적으로 생산 준비가 된 코드 조각이어야 합니다.

팀은 종종 사용자 스토리의 크기와 추정치를 조작하거나 데이터베이스 변경, 프론트 엔드 작업, 미들웨어 등에 대한 스토리를 생성하여 수직이 아닌 수평으로 작업을 분해하여 속도를 조절합니다. 다른 사람에 대한 의존성을 제거하고 작업 완료에 대한 크레딧을 얻습니다. 이러한 접근 방식의 문제점은 이러한 사용자 스토리가 실제로는 작업이며 팀이 인정을 받았지만 고객을 위한 비즈니스 가치는 전달되지 않았다는 것입니다.

게임 속도는 서로에 대한 견제 및 균형으로 다른 많은 메트릭을 사용하여 방지할 수 있습니다. 너무 자주 조직은 PPM, 프로그램 및 프로젝트 관리 솔루션을 구성하기 위해 더 큰 측정 세트 대신 속도 또는 매우 작은 메트릭 세트에만 의존합니다.

소용돌이(민첩)

많은 애자일리스트와 프로젝트 관리자가 고민하는 한 가지 질문은 "우리는 얼마나 민첩합니까?"입니다. 사실 민첩성 측정에 대한 답을 찾는 것 자체가 모든 곳에서 민첩성 전문가들의 성배였습니다. Agile vorticity는 바로 이를 수행하는 새로운 측정법입니다. 10년 이상의 사례 연구를 바탕으로 근거 이론이라는 정교한 정성적 방법을 통해 민첩한 소용돌이를 개발했습니다.

포괄적인 측정 세트를 사용하여 시장 및 조직 프로세스의 민첩성을 서로 비교하여 측정하여 소용돌이도 또는 수렴하는 지점을 결정할 수 있습니다. 제로 소용돌이는 조직의 민첩성이 시장과 일치하고 있음을 의미합니다. 높은 소용돌이는 시장이 조직이나 팀보다 훨씬 빠르게 움직이고 따라서 해야 할 일이 많다는 것을 의미합니다. 아래 인포그래픽은 오늘날의 초고속 시장을 설명하기 위해 소용돌이 사고 실험을 사용하여 이러한 관계를 보여줍니다.

작업 항목 연령

작업 항목은 작업 패키지, 사용 가능한 기능 또는 대부분의 민첩한 컨텍스트에서 사용자 스토리로 정의될 수 있습니다. 시계는 작업 항목이 처음 구상되자마자 시간을 재기 시작합니다. 작업 항목이 진행 중인지 아니면 백로그에 있는지 여부에 관계없이 작업 항목의 수명을 추적하면 요구 사항과 관련된 문제를 식별하는 데 도움이 될 수 있습니다.

작업 항목이 한 스프린트에서 다음 스프린트로 밀려나기 때문에 동족보다 오래된 것처럼 보이면 분해 문제가 있을 수 있습니다. 재정의하거나 더 잘 이해할 필요가 있습니까? 오랜 기간 동안 백로그에 있는 작업 항목을 선별하거나 재정의해야 할 수 있습니다.

지속적인 백로그 정리는 스프린트 계획 및 우선 순위 지정에 중요합니다. 백로그의 노화 요구 사항이 증가하면 요구 사항이 개발 및 분해되는 방식에 문제가 발생할 수 있습니다. 부실한 요구 사항 관리는 애자일 변환 실패의 주요 원인 중 하나입니다.

부적절하게 작성된 요구 사항은 우선 순위 지정 및 추정을 극도로 어렵게 하여 통제 불능의 기술 부채, 낮은 기능 사용률 및 재정적 손실을 초래할 수 있습니다. 잘 이해되고 우선 순위가 높은 높은 가치의 요구 사항을 개발하는 것은 예술 형식이며 최고의 애자일리스트조차도 제대로 이해하지 못합니다. 실제로, 이는 틀림없이 민첩한 혁신 성공을 가로막는 가장 큰 장애물 중 하나입니다.

결론

이 기사에서 우리는 애자일 메트릭의 기반, 포괄적인 솔루션의 필요성, 구축을 위한 17가지 권장 사항을 설정했습니다. 논의된 모든 측정을 사용하든 하위 집합만 사용하든 모든 솔루션에서 데이터 대상을 고려하는 것이 중요합니다. 속도와 같은 일부 메트릭은 스크럼 팀 내에서 유지하는 것이 가장 좋습니다. Agile vorticity 및 비즈니스 모멘텀과 같은 기타 메트릭은 각각 경영진 또는 제품 관리를 위해 설계되었습니다.

항상 메트릭이 말하는 내용을 완전히 이해하고 정확하게 전달하고 데이터가 이끄는 방향을 따르십시오. 좋은 메트릭을 유도하고 지원하는 한 가지 방법은 강력한 애자일 프레임워크를 사용하는 것입니다.