Crowdsourcing em comparação com testes de redes móveis

A necessidade de avaliar objetivamente a qualidade e o desempenho das redes móveis impulsiona duas abordagens diferentes: o crowdsourcing e os testes de redes móveis. O mercado de crowdsourcing está altamente saturado. Mais de 20 empresas concentram seu foco em crowdsourcing de medições de redes móveis. Para obter resultados de medição, elas usam diferentes conceitos para diferentes propósitos. Esta ficha de aplicação descreve a estrutura do espaço de crowdsourcing e analisa as vantagens e desvantagens de ambas as abordagens.

/

Sua tarefa

Operadoras de redes móveis e órgãos regulamentares têm um interesse cada vez maior em compreender de maneira mais aprofundada a qualidade das redes e a competitividade em determinados mercados. Esse interesse é impulsionado por três requisitos essenciais:

Benchmarking– fornece uma visualização do desempenho relativo de diferentes redes móveis
Otimização de operações– aprimora a eficiência operacional para a operadora de redes (inclusive os serviços de atendimento ao cliente, a garantia de serviços e a engenharia de redes)
Gerenciamento de marketing/experiência do cliente (CEM)– avalia a experiência de usuário e a qualidade da rede

Crowdsourcing e testes de redes móveis (MNT) são duas abordagens fundamentalmente diferentes para lidar com esses requisitos. As operadoras de redes móveis e os órgãos regulamentares precisam avaliar essas duas abordagens e desenvolvê-las conforme suas necessidades. Esta ficha de aplicação examina as vantagens e desvantagens de ambos os conceitos.

Solução de crowdsourcing

As soluções de crowdsourcing podem ser agrupadas em três categorias:

Agregação– permite que aplicativos móveis não relacionados integrem um kit de desenvolvimento de sistema (SDK) de medição para compensação monetária (semelhante à colocação de anúncios em aplicativos). Frequentemente, os usuários finais não sabem que os dados estão sendo recolhidos em segundo plano e enviados ao armazenamento em nuvem para análise posterior e isso pode representar dificuldades no que diz respeito à legislação.
Aplicativo móvel de operadora– vincula um SDK de medição em um aplicativo móvel da marca da operadora
Aplicativo móvel próprio– coloca um aplicativo móvel de marca própria em lojas de aplicativos especificamente direcionado para usuários interessados no desempenho das redes

Segmentação de mercado de crowdsourcing com base no posicionamento das empresas

Figura 1: Segmentação de soluções de crowdsourcing por requisito e categoria de aplicativo (a título de exemplo, não exaustiva).

/

Figura 1: Segmentação de soluções de crowdsourcing por requisito e categoria de aplicativo (a título de exemplo, não exaustiva).

Análise de crowdsourcing

Vantagens	Desvantagens
Dados de crowdsourcing são recolhidos de maneira contínua e autônoma, sem uma campanha de medição específica. A quantidade massiva de dados fornece uma resolução de análise muito elevada. Você obtém dados de onde quer que as pessoas estejam. Mas isso não assegura completa cobertura geográfica. A cobertura das redes móveis e as estatísticas de qualidade estão disponíveis por todo um país ou região. A identificação de estações base, localizações e operadoras com maior tráfego de dados pode possibilitar a compreensão mais aprofundada para o planejamento de novas estações base ou expansão de capacidades. Fornece uma compreensão de como o espectro disponível é usado em diferentes áreas geográficas. Possível filtrar uma quantidade massiva de dados e usá-los para análises com buscas detalhadas de acordo com vários critérios (operadoras, localização, horário, etc.).	As condições para recolhimento dos dados em crowdsourcing são imprevisíveis e, na maioria das vezes, desconhecidas: Temperatura: smartphones no bolso dos usuários são aquecidos até a temperatura corporal; aquecimento devido a aplicativos paralelamente em execução Localização: smartphones em porões ou no 1º, 10º ou 20º andar de um edifício Dependência de dispositivos: telefones mais antigos com capacidades limitadas de equipamentos de usuário em utilização por um longo tempo – a medição de desempenho de redes pode ser afetada pelas capacidades limitadas do equipamento de usuário Plano de tráfego dos clientes: o volume de dados pode acabar e o fluxo pode ser restringido pela rede As medições não são reprodutíveis (a análise de crowdsourcing pode ser repetida ou realizada em um novo conjunto de dados, mas não é possível reproduzi-la). Se houver questões a respeito de um evento relatado, o evento não pode ser reproduzido para validação. Os dados de crowdsourcing não podem ser usados para otimização de redes. Informações limitadas ou falta de informações sobre as causas de problemas. As soluções de crowdsourcing geralmente seguem uma abordagem própria com um método de pontuação não revelado para os resultados. As pontuações ou os resultados de diferentes soluções não são comparáveis uns com os outros. Soluções de crowdsourcing geralmente limitam seus testes ativos aos seguintes indicadores-chave de desempenho para qualidade: fluxo de ligação ascendente/ligação descendente, latência média, jitter médio e perda de pacotes. Sistemas operacionais de smartphones são cada vez mais restritivos e limitam os parâmetros disponíveis que os aplicativos móveis de crowdsourcing (executados em segundo plano) podem usar. Os aplicativos móveis específicos para crowdsourcing geralmente mostram uma tendência negativa (principalmente usuários com conhecimentos técnicos ativam esses testes quando têm problemas na rede).

Vantagens

Desvantagens

Dados de crowdsourcing são recolhidos de maneira contínua e autônoma, sem uma campanha de medição específica.
A quantidade massiva de dados fornece uma resolução de análise muito elevada. Você obtém dados de onde quer que as pessoas estejam. Mas isso não assegura completa cobertura geográfica.
A cobertura das redes móveis e as estatísticas de qualidade estão disponíveis por todo um país ou região.
A identificação de estações base, localizações e operadoras com maior tráfego de dados pode possibilitar a compreensão mais aprofundada para o planejamento de novas estações base ou expansão de capacidades.
Fornece uma compreensão de como o espectro disponível é usado em diferentes áreas geográficas.
Possível filtrar uma quantidade massiva de dados e usá-los para análises com buscas detalhadas de acordo com vários critérios (operadoras, localização, horário, etc.).

As condições para recolhimento dos dados em crowdsourcing são imprevisíveis e, na maioria das vezes, desconhecidas:
- Temperatura: smartphones no bolso dos usuários são aquecidos até a temperatura corporal; aquecimento devido a aplicativos paralelamente em execução
- Localização: smartphones em porões ou no 1º, 10º ou 20º andar de um edifício
- Dependência de dispositivos: telefones mais antigos com capacidades limitadas de equipamentos de usuário em utilização por um longo tempo – a medição de desempenho de redes pode ser afetada pelas capacidades limitadas do equipamento de usuário
- Plano de tráfego dos clientes: o volume de dados pode acabar e o fluxo pode ser restringido pela rede
As medições não são reprodutíveis (a análise de crowdsourcing pode ser repetida ou realizada em um novo conjunto de dados, mas não é possível reproduzi-la). Se houver questões a respeito de um evento relatado, o evento não pode ser reproduzido para validação.
Os dados de crowdsourcing não podem ser usados para otimização de redes. Informações limitadas ou falta de informações sobre as causas de problemas.
As soluções de crowdsourcing geralmente seguem uma abordagem própria com um método de pontuação não revelado para os resultados. As pontuações ou os resultados de diferentes soluções não são comparáveis uns com os outros.
Soluções de crowdsourcing geralmente limitam seus testes ativos aos seguintes indicadores-chave de desempenho para qualidade: fluxo de ligação ascendente/ligação descendente, latência média, jitter médio e perda de pacotes.
Sistemas operacionais de smartphones são cada vez mais restritivos e limitam os parâmetros disponíveis que os aplicativos móveis de crowdsourcing (executados em segundo plano) podem usar.
Os aplicativos móveis específicos para crowdsourcing geralmente mostram uma tendência negativa (principalmente usuários com conhecimentos técnicos ativam esses testes quando têm problemas na rede).

Solução de testes de redes móveis

Drive tests e walk tests são conceitos de testes de redes móveis específicos. Smartphones específicos (equipamentos de usuários comerciais) e scanners de redes são usados em uma configuração para testes controlada (temperatura e blindagem de RF tanto quanto possível) e realizam um conjunto de casos de testes refletindo o comportamento do usuário final. Serviços de transmissão de voz (telefonia) e de transmissão de dados (tráfego de dados, stream de vídeo, mídias sociais e navegação na web) são os serviços mais comumente usados e totalizam a maior parte do volume de tráfego em redes móveis.

O ETSI TR 103 559 descreve as boas práticas para robustos testes de benchmarking e pontuação de qualidade de serviço de redes. O relatório técnico fornece uma recomendação sobre como testar a qualidade das redes móveis com base na percepção do usuário final.

A pontuação da Rohde & Schwarz para desempenho de redes implementa o método do ETSI.

As aplicações são testadas de acordo com as três categorias a seguir:

Acessibilidade– disponibilidade de serviços, por ex. chamadas desconectadas
Tempo de espera– tempo de estabelecimento da chamada
Qualidade de mídia– qualidade de imagem ou qualidade de voz

Os resultados são mapeados em uma escala de pontos e uma pontuação agregada é gerada refletindo a qualidade percebida pelo usuário final (um vídeo transmitido por streaming que não pode ser iniciado é muito mais grave do que uma qualidade de vídeo ligeiramente reduzida e, portanto, tem maior peso na avaliação).

Para ver mais detalhes e explicações, acesse:
www.rohde-schwarz.com/nps

Campanha de testes em estradas

Figura 2: a pontuação de desempenho de redes (NPS) da Rohde & Schwarz cobre a gama completa de aplicações para o usuário final.

/

Figura 2: a pontuação de desempenho de redes (NPS) da Rohde & Schwarz cobre a gama completa de aplicações para o usuário final.

Análise de testes de redes móveis

Vantagens	Desvantagens
Os dados são recolhidos sob condições definidas em uma configuração para testes controlada (temperatura, blindagem de RF). Você sempre sabe sob quais condições os dados são recolhidos (ambientes externos, ambientes internos, posição do dispositivo de medição, temperatura, etc.). As campanhas de medição são planejadas com os mais recentes smartphones e capacidades de equipamentos de usuários para assegurar que a medição de desempenho não seja influenciada por deficiências do equipamento de usuário. Todos os aplicativos que os usuários estiverem executando em segundo plano contribuem para a avaliação geral da qualidade da rede. A utilização de métodos de teste definidos e harmonizados faz com que os testes de redes móveis sejam comparáveis e reprodutíveis As campanhas de medição são claramente definidas (rotas, equipes, horários, configurações de medição, etc.) e podem ser repetidas com facilidade após 3, 6 ou 12 meses para medir aprimoramentos no desempenho ao longo do tempo. O âmbito do teste é muito mais amplo em comparação com crowdsourcing. Soluções profissionais para testes de redes móveis também podem calcular índices de medição avançados, como nota média de opinião (MOS) para conteúdos de voz e vídeo. A pontuação de desempenho de redes usando o método do ETSI fornece ideias para a otimização de redes devido à abordagem padronizada de medição e pontuação. Todos os detalhes estão disponíveis para análise posterior. Quando são relatados problemas, o contexto está disponível (condições de RF, mensagens L3 detalhadas da rede e dos aplicativos) para propósitos de solução de problemas. Sua comparabilidade devido aos métodos de teste harmonizados significa que os testes de redes móveis também podem ser usados para comparar redes de acesso rádio abertas (O-RAN) com uma arquitetura de RAN com somente um fornecedor. Acordos com fabricantes de dispositivos móveis e chipsets são implementados para superar a limitação de sistemas operacionais restritivos em smartphones.	Campanhas de medição específicas devem ser planejadas e executadas, isso requer esforços. Essas campanhas são demoradas e têm altos custos em comparação com o crowdsourcing (apesar de os relatórios de crowdsourcing também não estarem disponíveis gratuitamente). Os resultados de desempenho de redes estão disponíveis somente nas áreas onde os dados foram recolhidos. Um mapa de cobertura de um país inteiro não pode ser criado com eficiência com base em testes de redes móveis.

Vantagens

Desvantagens

Os dados são recolhidos sob condições definidas em uma configuração para testes controlada (temperatura, blindagem de RF). Você sempre sabe sob quais condições os dados são recolhidos (ambientes externos, ambientes internos, posição do dispositivo de medição, temperatura, etc.).
As campanhas de medição são planejadas com os mais recentes smartphones e capacidades de equipamentos de usuários para assegurar que a medição de desempenho não seja influenciada por deficiências do equipamento de usuário. Todos os aplicativos que os usuários estiverem executando em segundo plano contribuem para a avaliação geral da qualidade da rede.
A utilização de métodos de teste definidos e harmonizados faz com que os testes de redes móveis sejam comparáveis e reprodutíveis
As campanhas de medição são claramente definidas (rotas, equipes, horários, configurações de medição, etc.) e podem ser repetidas com facilidade após 3, 6 ou 12 meses para medir aprimoramentos no desempenho ao longo do tempo.
O âmbito do teste é muito mais amplo em comparação com crowdsourcing. Soluções profissionais para testes de redes móveis também podem calcular índices de medição avançados, como nota média de opinião (MOS) para conteúdos de voz e vídeo.
A pontuação de desempenho de redes usando o método do ETSI fornece ideias para a otimização de redes devido à abordagem padronizada de medição e pontuação. Todos os detalhes estão disponíveis para análise posterior. Quando são relatados problemas, o contexto está disponível (condições de RF, mensagens L3 detalhadas da rede e dos aplicativos) para propósitos de solução de problemas.
Sua comparabilidade devido aos métodos de teste harmonizados significa que os testes de redes móveis também podem ser usados para comparar redes de acesso rádio abertas (O-RAN) com uma arquitetura de RAN com somente um fornecedor.
Acordos com fabricantes de dispositivos móveis e chipsets são implementados para superar a limitação de sistemas operacionais restritivos em smartphones.

Campanhas de medição específicas devem ser planejadas e executadas, isso requer esforços. Essas campanhas são demoradas e têm altos custos em comparação com o crowdsourcing (apesar de os relatórios de crowdsourcing também não estarem disponíveis gratuitamente).
Os resultados de desempenho de redes estão disponíveis somente nas áreas onde os dados foram recolhidos. Um mapa de cobertura de um país inteiro não pode ser criado com eficiência com base em testes de redes móveis.

Recomendações

A análise e comparação das vantagens e desvantagens de ambas as abordagens demonstra que o crowdsourcing e os testes de redes móveis devem ser vistos de forma complementar e não substituem um ao outro.

Em função do objetivo ou dos requisitos, uma abordagem pode ser mais vantajosa do que a outra. Aqui estão alguns exemplos:

Classificação/benchmarking de qualidade de redes de operadoras em um país:Para uma visão geral, dados de crowdsourcing podem ser suficientes. Mas se o objetivo for fazer uma comparação justa e obter conclusões sólidas, um método de teste comparável como o do ETSI TR 103 559 para testes de redes móveis é altamente recomendado.
Mapa de cobertura para um país inteiro:Se o objetivo for fazer um mapa de cobertura para um país inteiro, o crowdsourcing é a melhor solução. Dados básicos de RF, tais como potência recebida de sinal de referência (RSRP) são suficientes na maioria dos casos, apesar de haver discussões em andamento na Conferência Europeia de Administrações de Correios e Telecomunicações (CEPT) para redefinir o termo “cobertura”, principalmente considerando a formação de feixes em 5G. Os testes de redes móveis não podem cobrir um país inteiro, cada rua em cada cidade, município ou vilarejo, com custos razoáveis.
Otimização de redes: Se a otimização de redes for ser realizada com base em dados, esses dados precisam ser confiáveis e recolhidos sob condições conhecidas, definidas e reprodutíveis. Os dados também precisam estar disponíveis com contexto (condições de RF, mensagens L3 detalhadas da rede e de aplicativos) para corresponder aos problemas identificados com eventos de RAN para que seja possível identificar as causas destes problemas. Somente os testes de redes móveis cumprem esses requisitos, os dados de crowdsourcing não informam sobre o contexto.
Análise de uso de redes:Para identificar localizações ou áreas geográficas com elevada utilização de dados e espectro, o crowdsourcing é uma solução viável, pois uma quantidade massiva de dados pode ser analisada e a confiabilidade dos dados não é decisiva para esse propósito.
O crowdsourcing pode ser um bom complemento para um drive test tradicional:Pode-se usar o crowdsourcing para detectar áreas com baixa cobertura ou problemas de redes. Equipes de drive test podem ser enviadas ao local para o recolhimento de dados. O crowdsourcing pode contribuir para fundamentar campanhas de benchmarking nacional (por ex. campanhas de pontuação de desempenho de redes), como em planejamento de campanhas e rotas para determinar se uma campanha realmente cobre as partes relevantes de um país.

Informações adicionais

Para obter mais informações sobre as soluções de testes de redes móveis em benchmarking discutidas nesta ficha de aplicação, entre em contato com seu representante de vendas da Rohde & Schwarz ou visite nosso site:
www.rohde-schwarz.com/mnt/network-benchmarking

Baixar