Um dia na vida de um jornalista de dados – Idrees Kahloon, The Economist

Um dia na vida de um jornalista de dados pode ser visto como a análise de planilhas e a apresentação de informações de forma significativa, porém, à medida que.. Manual de Jornalismo de Dados Conforme apontado por diversos colaboradores, o jornalismo de dados é importante pelos seguintes motivos:

• Isso ajuda a filtrar o fluxo de dados
• Proporcionando uma nova abordagem e técnicas para contar histórias.
•  Uma forma diferente de jornalismo, assim como existe o jornalismo escrito e o fotojornalismo
• O jornalismo de dados é o futuro do consumo de conteúdo na web
• Atualizando suas habilidades
• Uma solução para o processamento de informações
• Uma resposta para relações públicas orientadas por dados
• Fornecer interpretações independentes de informações oficiais
• Lidando com o dilúvio de dados
• Atividade que economiza tempo
• e muito mais…

Idrees Khaloon, recém-formado em Matemática Aplicada por Harvard, é jornalista de dados na The Economist. Sua função é trabalhar com jornalistas de diversas áreas, editores de seção, desenvolvedores e designers para obter e produzir visualizações de dados, cartografia e infográficos que complementem as matérias jornalísticas e garantam a melhor representação dos dados em todos os formatos (impresso, aplicativo e web), com o objetivo de desenvolver matérias e produtos editoriais de longo prazo. Devido ao seu papel multifacetado na organização, em 27 de janeiro, Idrees realizou um evento Sessão de perguntas e respostas ao vivo no QuoraA seguir, apresentamos o programa da sessão e um resumo das perguntas e respostas.

Resumo de perguntas e respostas

• Jornalismo de dados – um dia típico no escritório
• Como a revista The Economist analisa dados para produzir suas reportagens
• Pesquisas eleitorais e erros de pesquisa
• Algumas das histórias em que trabalhei incluem:
  • Modelando os resultados do Brexit
  • Analisando se a leitura de jornais pode prever o apoio a Donald Trump
• Conselhos de carreira em jornalismo de dados

Jornalismo de dados – um dia típico no escritório

Primeiramente, aqui está o ciclo de vida de uma história de dados:

• Geração de ideias
• Identificação de fontes de dados existentes
• Limpar e organizar os dados, dando-lhes formatação adequada
• Explorando os dados, muitas vezes de forma um tanto sem rumo
• Testar suas hipóteses para chegar a conclusões interessantes ou construir um modelo estatístico (geralmente apenas explicativo; modelos preditivos são muito mais difíceis)
• Redigir suas conclusões, que sempre são complementadas por relatórios convencionais, também é fundamental
• Por último, mas não menos importante, responder aos editores e verificadores de fatos antes da publicação

Em um dia típico, um jornalista de dados não fará todas essas coisas, mas fará algumas delas. A tarefa mais desafiadora que provavelmente já assumi foi construir nossa modelo de golfeDepois que um dos meus colegas desenvolveu a estrutura do modelo, que leva em consideração fatores como sequências de vitórias e efeitos climáticos — em uma planilha do Excel, nada menos — eu tive que traduzir o protótipo para Python. Em seguida, tivemos que descobrir como simular torneios com esse modelo, o que não foi trivial. Depois de uma ou duas semanas de luta, conseguimos fazer o programa funcionar bem o suficiente para simular torneios passados ​​10.000 vezes. Apesar dos meus melhores esforços, o Python, que é uma linguagem interpretada, não estava atingindo a velocidade necessária. Então, recorremos a um colega com doutorado em física, que conseguiu traduzir meu código Python para C++ — melhorando nossa velocidade em pelo menos dez vezes. Muito divertido.

Muito trabalho é investido em nossos gráficos antes que a mágica da visualização aconteça (a coleta e o processamento de dados em R e Python que mencionei). Assim que os dados limpos estão prontos, utilizamos duas ferramentas de criação de gráficos personalizadas: um script em Excel e um script em Adobe Illustrator que converte os dados em um gráfico propriamente dito.

Como a revista The Economist analisa dados para produzir suas reportagens

Assim que tenho um conjunto de dados promissor em mãos, limpo-o e o organizo em um formato analisável usando a biblioteca pandas do Python ou o R, que é a escolha mais popular entre os jornalistas de dados aqui. Depois que os dados estão organizados, costumo explorá-los um pouco: observo as médias, verifico se há valores ausentes ou estranhos e crio gráficos de tendências. A partir daí, decidimos quais gráficos acompanharão a matéria. Eu os crio no meu computador e depois os envio para um visualizador de dados para que ele os adapte ao nosso estilo característico. O que torna o The Economist único é que não existe uma seção de jornalismo de dados específica na publicação; ele está presente em todos os lugares. Em segundo lugar, como um jornal semanal, temos prazos generosos em comparação com nossos colegas dos jornais diários. Produzir matérias com dados geralmente leva bastante tempo, em parte devido ao tempo necessário para limpar e processar dados complexos. Temos a sorte de poder dedicar o tempo necessário às matérias e dar-lhes um tratamento rigoroso antes da publicação.

Comentários sobre pesquisas de opinião e erros em pesquisas de opinião

A resposta básica, para dizer de forma um tanto monótona, é que as amostras são tendenciosas e não representativas. As pesquisas funcionam se, e somente se, a amostra representar toda a população. Há diversos problemas que impedem que esse padrão de excelência seja alcançado — viés de não resposta (certas pessoas são mais propensas a responder às suas perguntas do que outras) ou viés de autoseleção (realizar uma pesquisa em um clube de campo, por exemplo, distorceria a amostra). Os dados brutos com os quais a maioria dos institutos de pesquisa trabalha geralmente são bastante enviesados. Por exemplo, a amostra pode ser composta por 60% de homens, quando a população real é mais próxima de 50%. Para corrigir isso, os institutos de pesquisa aplicam ponderação, o que faz com que as respostas femininas tenham mais peso. Isso funciona muito bem, a menos que haja realinhamentos repentinos em eixos políticos descontrolados, o que pode ter ocorrido no ano passado.

Outra área que pode ser aprimorada são as projeções de comparecimento às urnas, que geralmente se baseiam de forma simplista em pesquisas de boca de urna de eleições anteriores ou em palpites autodeclarados. Modelos mais sofisticados, que incluam previsões individualizadas, provavelmente são necessários. As campanhas nos Estados Unidos já estão à frente nesse tipo de trabalho — muitas vezes com o apoio de cientistas de dados muito competentes — e os institutos de pesquisa fariam bem em aprender com eles.

 Exemplo de histórias em que Idrees Kahloon trabalhou

Modelando os resultados do Brexit

A maior dificuldade na modelagem do Brexit foi a ausência de um modelo análogo para treinamento. Meu colega James Fransham e eu contornamos esse problema analisando microdados de pesquisas eleitorais para identificar os melhores indicadores de voto a favor ou contra a saída da União Europeia. Imediatamente, percebemos que escolaridade e classe social eram indicadores extremamente eficazes, enquanto indicadores de comportamento político que haviam funcionado bem no passado (como filiação partidária) apresentaram desempenho excepcionalmente ruim. Após identificarmos os fatores mais importantes, utilizamos dados do censo para projetar os resultados finais. Também modelamos a participação eleitoral utilizando um procedimento semelhante.

O modelo da noite da eleição usou todos esses cálculos como previsão base (uma distribuição a priori Bayesiana). À medida que os resultados chegavam, escrevemos um script que ajustava dinamicamente o modelo subjacente, tornando-o cada vez mais preciso ao longo da noite. Infelizmente para o Reino Unido, mas felizmente para o nosso modelo, estávamos prevendo o Brexit uma hora após a divulgação dos resultados. Você pode ver mais detalhes, incluindo as gloriosas estatísticas, aqui .

A leitura de jornais apoia a previsão de Donald Trump

Tem surpreendentemente bom. Se você perguntar a um eleitor o quão confiáveis ​​eles consideram vários jornais, você pode prever o voto dele com 88% de precisão. Isso sem levar em conta outras informações relevantes, como raça, filiação partidária ou nível de escolaridade. Embora possa ser um triunfo para as estatísticas, acho um pouco desanimador que as atitudes em relação à mídia estejam tão polarizadas por linhas partidárias.