Rotulagem de dados
Processo de qualidade em rotulagem
Consistência em dataset não vem de esforço individual, vem de processo. Esta página descreve o nosso, etapa por etapa, incluindo o que fazemos quando anotadores discordam.
Envie um lote pequeno. Devolvemos as guidelines propostas e uma estimativa de esforço.
As etapas do processo
O mesmo caminho em todo projeto, do primeiro lote à entrega versionada.
-
Construção das guidelines
Escrevemos a definição de cada classe, com exemplos positivos, exemplos negativos e o que fazer em caso de dúvida. Guideline sem caso de borda não é guideline.
-
Amostra inicial
Um lote pequeno é anotado primeiro, deliberadamente. Serve para descobrir o que a guideline não previu enquanto corrigir ainda é barato.
-
Validação dos critérios
Você revisa a amostra e confirma ou corrige os critérios. Só depois desse aceite o volume começa.
-
Anotação
Produção com a guideline aprovada, por anotadores treinados nos critérios específicos do projeto.
-
Revisão
Segunda passada sobre o material, verificando aderência à guideline e não apenas ausência de erro grosseiro.
-
Auditoria por amostragem
Uma fatia de cada lote é reavaliada de forma independente, para medir consistência em vez de supô-la.
-
Tratamento de divergências
Discordância entre anotadores é registrada e resolvida na guideline, não caso a caso. Divergência recorrente indica critério ambíguo, não anotador ruim.
-
Exportação
Conversão para o formato do seu pipeline, com verificação de integridade dos arquivos gerados.
-
Versionamento
Cada entrega é identificada junto da versão da guideline usada. Sem isso, não há como explicar por que dois lotes divergem.
Como medimos consistência
Qualidade que não é medida é opinião.
-
Concordância entre anotadores
O mesmo material é anotado por mais de uma pessoa em uma amostra, e a divergência é medida em vez de estimada.
-
Aderência à guideline
A revisão verifica se a anotação segue o critério escrito, inclusive quando o resultado “parece certo”.
-
Divergência por classe
Quando uma classe concentra discordância, o problema é a definição dela. É ali que a guideline é reescrita.
-
Estabilidade entre lotes
Comparação ao longo do tempo, para detectar deriva de critério antes que ela chegue ao modelo.
Erros comuns que o processo evita
Cada etapa acima existe porque um destes problemas é caro de corrigir depois.
-
Classe definida por exemplo único
Uma classe explicada com uma imagem só produz interpretações diferentes assim que o material varia.
-
Zona cinzenta sem regra
Se a guideline não diz o que fazer no caso duvidoso, cada anotador decide sozinho — e o modelo aprende a inconsistência.
-
Escalar antes de validar
Volume com critério errado multiplica retrabalho. É por isso que a amostra inicial não é opcional.
-
Entrega sem versão
Sem versionamento, um problema descoberto depois não pode ser rastreado até o lote e a guideline que o geraram.
Perguntas frequentes sobre qualidade em rotulagem
O que se pergunta antes de confiar um dataset a um fornecedor.
Como vocês tratam divergência entre anotadores?
Registramos, resolvemos na guideline e reanotamos o material afetado. Divergência que se repete é sinal de critério ambíguo, e o critério é o que corrigimos.
Dá para auditar um dataset que já existe?
Sim. Avaliamos uma amostra, medimos consistência e apontamos onde os critérios divergem, antes de propor correção ou reanotação.
Quem escreve as guidelines?
Escrevemos junto. Trazemos a estrutura e os casos de borda que costumam aparecer; você traz a definição de negócio do que é certo e errado.
E se o critério mudar no meio do projeto?
Nova versão da guideline, material afetado identificado e reanotado. O importante é que a mudança fique registrada, e não implícita.
Fale com nosso time
Vamos entender seu desafio
Prefere agendar a conversa de diagnóstico? Use o link de agendamento. Ou preencha o formulário — nosso time técnico responde.