Expectativas sobre as expectativas de nível de serviço

Introdução

Recentemente, a equipe da ICANN tem trabalhado para atender os requisitos da comunidade em relação ao estabelecimento de métricas para o desempenho da "IANA pós-transição" no processamento de solicitações de gerenciamento da zona raiz. Para quem não está acompanhando o desenvolvimento das expectativas de nível de serviço, os princípios acordados para o monitoramento, a documentação e a avaliação dessas solicitações foram:

1. Métricas atribuíveis. Quando viável, as métricas individuais devem ser comunicadas com a atribuição do tempo utilizado pela parte responsável. Por exemplo, no caso de uma solicitação de alteração, o tempo gasto pela equipe da IANA para o processamento deve ser contabilizado separadamente do tempo gasto na espera pela ação do cliente.
2. Tempo geral Apesar do princípio anterior, é útil informar métricas gerais para identificar tendências gerais associadas ao tempo de processamento completo.
3. Relevância. Deve haver uma distinção entre métricas que devem ser registradas para análise geral e métricas essenciais consideradas importantes para definir limites específicos para analisar lacunas na capacidade da ICANN de oferecer o nível de serviço apropriado.
4. Definição clara. Todas as métricas devem ser suficientemente definidas de modo que haja uma compreensão comum sobre o que está sendo medido e como seria implementada uma abordagem automatizada para medir em relação ao padrão.
5. Definição de limites. A definição de limites específicos para os critérios de desempenho deve ser estabelecida com base na análise de dados reais. Isso pode exigir primeiro a definição de uma métrica, um período de coleta de dados e, posteriormente, uma análise pela comunidade da IANA antes de definir o limite.
6. Processo de revisão. As expectativas de nível de serviço devem ser revistas periodicamente e adaptadas com base nas expectativas atuais dos clientes da IANA e mudanças relevantes do ambiente. Elas devem ser acordadas mutuamente entre a comunidade e o operador de funções da IANA.
7. Relatórios regulares. Na medida do possível, as métricas devem ser informadas regularmente, quase em tempo real.

A partir de 2 de março, as alterações de códigos necessárias para permitir a coleta de informações sobre tempo para as expectativas de nível de serviço começaram a ser desenvolvidas. A próxima etapa pode ser considerar o que faremos com os dados obtidos. Nesta publicação, vamos explicar como chegamos até aqui e o que esperar daqui para frente.

Histórico: Definição dos requisitos para a medição

Uma Equipe de Design do Grupo de Trabalho Entre Comunidades (CWG), a "DT-A", foi encarregada de desenvolver padrões de desempenho. A DT-A desenvolveu um conjunto de métricas que devem ser reunidas para avaliar os níveis de serviço fornecidos pela função de gerenciamento de zona raiz pela IANA. Esse processo de desenvolvimento incluiu a equipe da ICANN, como especialista no assunto, que explicou à Equipe de Design os detalhes do processo de gerenciamento da zona raiz, como ele funciona e as implicações das diferentes métricas propostas. A equipe da ICANN também explicou os fluxos de processamento típicos e compartilhou casos incomuns que podem tornar algumas medições mais complicadas do que parecem. Embora a equipe da ICANN não tenha definido as métricas, aconselhou a Equipe de Design quando considerou que alguma métrica seria impossível de registrar. A conclusão desse trabalho é o Relatório Final da Equipe de Design, que faz parte da proposta do CWG.

Implementação: Adição de novos recursos de medição ao RZMS

Desde a conclusão da proposta do CWG, a equipe que desenvolve o Sistema de gerenciamento da zona raiz da ICANN (RZMS) trabalhou para instrumentalizar o sistema para capturar eventos relacionados às novas métricas propostas. Esse trabalho era necessário porque algumas das medidas do trabalho da Equipe de Design se relacionam a detalhes de certos fluxos de processo que não eram registrados. Como mencionamos, esse trabalho foi concluído, e a primeira versão que permite esse novo registro foi implementada em 2 de março de 2016. A equipe da ICANN analisará os primeiros lotes de dados de registro para determinar se é necessário fazer mais ajustes para calcular e gerar relatórios em conformidade com as expectativas de nível de serviço.

Produção

Coleta de dados inicial

Com os novos recursos de registro de estatísticas de desempenho do RZMS, a equipe da ICANN começou a coletar dados brutos. Esses dados formarão a base para futuras discussões com a comunidade mais ampla de gerenciamento da zona raiz, ou seja, as organizações que gerenciam os TLDs. Nessas discussões, esperamos explorar quais métricas são essenciais e qual deve ser o desempenho da IANA pós-transição em relação a elas. A proposta do CWG exige a definição de níveis de serviço por meio da análise de dados reais, e esses dados serão usados para essa análise. Devido às restrições de tempo associadas à transição e nossas expectativas de que as métricas evoluam com o tempo, acreditamos que uma coleta de dados inicial de três (3) meses seja suficiente para definir uma base para os limites iniciais, como explicaremos a seguir.

Totalização de dados e documentação

Enquanto a coleta de dados inicial está em andamento, a equipe da ICANN desenvolverá as ferramentas e os sistemas necessários para totalizar o fluxo de dados bruto e convertê-lo aos formatos esperados pela comunidade. Esses formatos incluirão uma visualização em painel adequada para a publicação em tempo real e todos os relatórios regulares que precisarem ser gerados. Além disso, uma versão dos registros brutos com informações confidenciais será publicada, permitindo que terceiros façam as próprias análises e medições, e oferecendo uma forma de verificar nossa interpretação dos dados. Compartilharemos nosso progresso conforme a coleta de dados avance e as ferramentas sejam desenvolvidas, e publicaremos os dados assim que tivermos certeza de sua precisão.

Definição de limites e níveis de serviço

Com dados suficientes para fazer análises abrangentes e as ferramentas necessárias para analisar e documentar os dados, vamos trabalhar com a comunidade de gerentes de TLD para identificar quais são as "métricas essenciais" e quais devem ser seus limites. Uma vez definidos pela equipe da ICANN e a comunidade, esses limites serão os novos padrões de desempenho do gerenciamento da zona raiz no ambiente pós-transição. Além disso, os mecanismos de feedback regulares definidos na proposta de transição, inclusive a interação com o recém-formado CSC (Comitê Permanente do Cliente), embasarão a evolução dos relatórios e do desempenho esperado do gerenciamento da zona raiz pela IANA.

Conclusão

Começamos a coletar as métricas acordadas pela comunidade e a equipe da ICANN. A equipe da ICANN espera trabalhar com a comunidade enquanto os dados relacionados ao tempo das ações de gerenciamento da zona raiz realizadas pela equipe, pela comunidade e outros são obtidos, organizados e disponibilizados para os interessados em manter o compromisso da ICANN com a abertura e a transparência. Esperamos que um período de três (3) meses de coleta de dados forneça dados suficientes para definir as metas de desempenho para a IANA. Depois da implementação da transição, o CSC poderá avaliar o desempenho do gerenciamento da zona raiz pela IANA e ajustar níveis de serviço específicos para atender às necessidades da comunidade.