XI Porto.Data Community Meeting | September 30, 2015 | How to process Flat Files documents (TXT, CSV …) in BizTalk Server

Posted: September 28, 2015  |  Categories: BizTalk Events Portuguese Community Schemas

This post is for the BizTalk Server and other Portuguese Community. It will be held on September 30, 2015, between 18:45 – 21:30 the XI Porto.Data Community meeting at the Science and Technology Park of University of Porto (UPTEC) in Oporto.

For me, it is a pleasure to return, for the second time this year, to this community. This time I chose a topic, which at first sight it seems very simple and basic, but it hides some techniques in which even the most experienced ones are unaware of, forget or fail.

I will be speaking about: “How to process Flat Files documents (TXT, CSV …) in BizTalk Server

(Initially, I was going to call this session: “Teach me something new about Flat Files”)

Abstract: Despite over the year’s new protocols, formats or patterns emerged like Web Services, WCF RESTful services, XML, JSON, among others. The use of text files (Flat Files ) as CSV (Comma Separated Values) or TXT, one of the oldest common patterns for exchanging messages, still remains today one of the most used standards in systems integration and/or communication with business partners.

While tools like Excel can help us interpret such files, this type of process is always iterative and requires few user tips so that software can determine where there is a need to separate the fields/columns as well the data type of each field. But for a system integration (Enterprise Application Integration) like BizTalk Server, you must reduce any ambiguity, so that these kinds of operations can be performed thousands of times with confidence and without having recourse to a manual operator.

In this session we will first address: How we can easily implement a robust File Transfer integration in BizTalk Server (using Content-Based Routing in BizTalk with retries, backup channel and so on).

And second: How to process Flat Files documents (TXT, CSV …) in BizTalk Server. Addressing what types of flat files are supported? How is the process of transforming text files (also called Flat Files) into XML documents (Syntax Transformations) – where does it happen and which components are needed. How can I perform a flat file validation?

XI Evento da Comunidade Porto.Data

A comunidade Porto.Data tem como objectivo a partilha de experiências e conhecimento entre os profissionais no Porto.

Para mim é um prazer voltar, pela segunda vez este ano, a esta comunidade. Desta vez eu escolhi um tema, que à primeira vista parece muito simples e básico, mas que esconde algumas técnicas ou segredos em que até mesmo os mais experientes desconhecem, se esquecem ou falham.

Desta vez vou vos falar sobre: “Como processar documentos Flat Files (TXT, CSV, …) em BizTalk Server

Descrição:

Apesar de ao longo dos anos surgirem novos protocolos, formatos ou padrões: Web Services, WCF, RESTful services, XML, JSON entre outros. No entanto, um dos padrões mais antigos e comuns para a troca de mensagens, e que continua ainda a ser hoje em dia um dos padrões mais usados na integração de sistemas e/ou na comunicação com parceiros de negócio, é a utilização de arquivos texto (Flat Files) como: CSV (Comma Separated Values) ou TXT.

Embora ferramentas como Excel nos ajudem a interpretar um ficheiro destes (CSV), o processo é sempre interactivo e requer algumas dicas do utilizador para que o software consiga determinar onde separar os campos/colunas, bem como o tipo de dados de cada campo. Ora para um sistema de integração (Enterprise Application Integration) como o BizTalk Server, é preciso reduzir todas as ambiguidades, por forma a estas operações poderem ser efectuadas milhares de vezes com confiança e sem que seja necessário recorrer a um operador manual.

Nesta sessão vamos abordar, primeiro, como podemos facilmente efectuar uma integração do género File Transfer robusto em BizTalk Server. E em segundo, como é que o BizTalk Server processa Flat Files (CSV, TXT, …): Que tipos de flat files são suportados? Como é o processo de transformação de arquivos de texto (também chamados de Flat Files) em documentos XML (Transformação de sintaxe)? e onde essas transformações ocorrem, bem como na validação da informação neles contida.

 

O evento irá ocorrer no próximo dia 30 de Setembro no auditório da UPTEC, pelas 18:45 no Porto. As inscrições não tem custos mas é obrigatório que reserve o seu lugar aqui uma vez que os lugares são limitados.

Confira a agenda abaixo:

18:45 – Abertura e recepção.

18:50 – Community News.

19:00 – “Columnstore Indexes Revealed – Uncut & Unedited” – Niko Neugebauer MVP – Oh22.net

20:10 – Coffee break.

20:30 – “Como processar documentos Flat Files (TXT, CSV, …) em BizTalk Server” – Sandro Pereira MVP – DevScope

21:15 – Fim do evento.

21:20 – Sorteio de prémios.

21:30 – Jantar livre.

Reserve aqui o seu lugar! Estamos a sua espera.

Author: Sandro Pereira

Sandro Pereira lives in Portugal and works as a consultant at DevScope. In the past years, he has been working on implementing Integration scenarios both on-premises and cloud for various clients, each with different scenarios from a technical point of view, size, and criticality, using Microsoft Azure, Microsoft BizTalk Server and different technologies like AS2, EDI, RosettaNet, SAP, TIBCO etc. He is a regular blogger, international speaker, and technical reviewer of several BizTalk books all focused on Integration. He is also the author of the book “BizTalk Mapping Patterns & Best Practices”. He has been awarded MVP since 2011 for his contributions to the integration community.

One Platform Operations, Monitoring and Analytics Software
BizTalk360

microsoft biztalk

Learn more

Over 500 customers across 30+ countries depend on BizTalk360

ServiceBus360

Azure service bus

Learn more

Start managing your Azure Service Bus namespaces in minutes

One Platform - Operations, Monitoring and Analytics Software
BizTalk360

microsoft biztalk

Learn more

Over 500 customers across 30+ countries depend on BizTalk360

One Platform - Operations, Monitoring and Analytics Software
ServiceBus360

Azure service bus

Learn more

Start managing your Azure Service Bus namespaces in minutes

Back to Top