Criar uma conexão de dados dos Hubs de Eventos para o Azure Data Explorer
O Azure Data Explorer oferece ingestão de Hubs de Eventos, uma plataforma de streaming de Big Data e um serviço de ingestão de eventos. Os Hubs de Eventos podem processar milhões de eventos por segundo quase em tempo real.
Neste artigo, você se conecta a um hub de eventos e ingere dados no Azure Data Explorer. Para obter uma visão geral sobre como ingerir dos Hubs de Eventos, consulte Hubs de Eventos do Azure conexão de dados.
Para saber como criar a conexão usando os SDKs do Kusto, confira Criar uma conexão de dados dos Hubs de Eventos com SDKs.
Para obter exemplos de código com base em versões anteriores do SDK, consulte o artigo arquivado.
Criar uma conexão de dados do hub de eventos
Nesta seção, você estabelecerá uma conexão entre o hub de eventos e a tabela de Data Explorer do Azure. Enquanto essa conexão estiver em vigor, os dados serão transmitidos do hub de eventos para a tabela de destino. Se o hub de eventos for movido para um recurso ou assinatura diferente, você precisará atualizar ou recriar a conexão.
- Obter dados
- Portal – página de Data Explorer do Azure
- Portal – página Hubs de Eventos do Azure
- Modelo de ARM
Pré-requisitos
- Uma conta da Microsoft ou uma identidade de usuário Microsoft Entra. Uma assinatura do Azure não é necessária.
- Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
- A ingestão de streaming deve ser configurada no cluster do Azure Data Explorer.
Obter dados
No menu à esquerda, selecione Consulta.
Clique com o botão direito do mouse no banco de dados em que você deseja ingerir os dados. Selecione Obter dados.
Source
Na janela Obter dados , a guia Origem está selecionada.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados dos Hubs de Eventos.
Configurar
Selecione um banco de dados e uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione + Nova tabela e insira um nome de tabela.
Observação
Os nomes de tabela podem ter até 1024 caracteres, incluindo espaços, alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
Preencha os campos a seguir:
Configuração Descrição do campo Subscription A ID da assinatura em que o recurso do hub de eventos está localizado. Namespace do Hub de Eventos O nome que identifica o namespace. Hub de Eventos O hub de eventos que você deseja Grupo de consumidores O grupo de consumidores definido em seu evento Nome da conexão de dados O nome que identifica a conexão de dados. Filtros avançados Compactação O tipo de compactação do conteúdo das mensagens do hub de eventos. Propriedades do sistema de eventos As propriedades do sistema do hub de eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas ao primeiro. Ao adicionar propriedades do sistema, crie ou atualize o esquema de tabela e o mapeamento de maneira a incluir as propriedades selecionadas. Data de início da recuperação do evento A conexão de dados recupera eventos existentes dos Hubs de Eventos criados após a data de início da recuperação de eventos. Somente os eventos retidos pelo período de retenção dos Hubs de Eventos podem ser recuperados. Se a data de início da recuperação de evento não for especificada, a hora padrão será a hora em que a conexão de dados será criada. Selecione Avançar
Inspecionar
A guia Inspecionar é aberta com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Como opção:
Se os dados que você vê na janela de visualização não estiverem concluídos, talvez seja necessário mais dados para criar uma tabela com todos os campos de dados necessários. Use os seguintes comandos para buscar novos dados do hub de eventos:
Descartar e buscar novos dados: descarta os dados apresentados e procura novos eventos.
Buscar mais dados: procura mais eventos além dos eventos já encontrados.
Observação
Para ver uma pré-visualização dos dados, o hub de eventos precisa enviar os eventos.
Selecione Visualizador de comandos para exibir e copiar os comandos automáticos gerados de suas entradas.
Use a lista suspensa Arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.
Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Confira Formatos de dados com suporte do Azure Data Explorer para ingestão.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá ficar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- O tipo de tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
---|---|---|
Nova tabela | Novo mapeamento | Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna |
Tabela existente | Novo mapeamento | Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar) |
Tabela existente | Mapeamento existente | nenhum |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .
As transformações de mapeamento podem ser executadas em uma coluna do tipo cadeia de caracteres ou datetime, com a origem tendo o tipo de dados int ou long. As transformações de mapeamento com suporte são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabular (CSV, TSV, PSV):
Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Manter esquemadetabela atual avançado>. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.
Para usar a primeira linha como nomes de coluna, selecione Avançado>Primeira linha é cabeçalho de coluna.
JSON:
Para determinar a divisão de colunas de dados JSON, selecioneNíveis AninhadosAvançados>, de 1 a 100.
Se você selecionarIgnorar erros de formato de dados avançados>, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.
Resumo
Na janela Preparação de dados, todas as três etapas são marcadas com marcas de marcar verde quando a ingestão de dados é concluída com êxito. Você pode exibir os comandos que foram usados para cada etapa ou selecionar uma cartão para consultar, visualizar ou remover os dados ingeridos.
Remover uma conexão de dados do hub de eventos
Remova a conexão de dados por meio do portal do Azure conforme explicado na guia portal.
Conteúdo relacionado
- Verificar a conexão com o aplicativo de mensagem de exemplo do Hub de Eventos
- Consultar dados na interface do usuário da Web