ENGLISH VERSION

Elaboração de um módulo de atividades didáticas a partir de um corpus de comunicações piloto-controlador em língua inglesa

Pesquisadora: Patrícia Tosqui Lucks (pós-doutoramento). Curriculo Lattes

Supervisora: Profa. Dra. Stella Esther Ortweiller Tagnin - USP

Este projeto de pesquisa de pós-doutoramento representa uma continuidade dos estudos iniciados com a compilação do Corpus SISCEAB: o desenvolvimento de materiais didáticos para ensino de inglês para controladores de tráfego aéreo. Para tanto, propõe-se a elaboração de um módulo didático para controladores que atuam nos Centros de Controle de Área, que poderá ser replicado para controladores dos outros órgãos operacionais. Esse módulo será composto por um conjunto de atividades didáticas que, de acordo com os preceitos do ensino de inglês para fins específicos (ESP), deverão ser aplicadas em cursos de capacitação continuada. As atividades didáticas serão elaboradas com base em procedimentos metodológicos da Linguística de Corpus e no software WordSmith Tools. Essa ferramenta possibilita o processamento de um grande volume de informações, eletronicamente, de modo uniforme, rápido e preciso que permite a realização de vários tipos de análise dos dados, tais como: frequência de uso, colocações, padrões léxico-gramaticais, entre outras, em âmbito fonético-fonológico, morfossintático, sintático, lexical, semântico e pragmático. Considerando que os controladores estão espalhados por todas as regiões do Brasil, e trabalham em regime de turnos da escala operacional que funciona ininterruptamente (24-7), esse módulo será desenvolvido para ser aplicado a distância, por computador. A educação a distância tem sido empregada com sucesso, nos últimos anos, na Força Aérea Brasileira, para capacitação continuada e manutenção operacional de seu efetivo, graças às vantagens de permitir, a um grande número de profissionais, acesso rápido mesmo em grandes distâncias físicas e com flexibilidade de horários. Espera-se que os benefícios da pesquisa extrapolem o âmbito estritamente linguístico, e possam contribuir para a segurança operacional do tráfego no espaço aéreo brasileiro.

Making a learning activity module from a corpus of pilot-controller communications in English

This postdoctoral research project represents a continuation of the studies begun with the compilation of the Corpus SISCEAB: the development of materials for teaching English to air traffic controllers. Therefore, the elaboration of a learning activity module is proposed for controllers that work in the Area Control Centers, which can be replicated to controllers of other facilities. This module will be composed of a set of didactic activities based on English for Specific Purposes (ESP) approach, to be applied in continuing training courses. The activities will be designed based on methodological procedures of Corpus Linguistics through WordSmith Tools software. This tool allows the processing of a large volume of information, electronically, in a uniform, fast and precise manner that allows the performance of various types of data analysis, such as frequency of use, settings, lexical-grammatical patterns, in phonological, morphological, syntactic, lexical, semantic and pragmatic aspects. Considering that the controllers are spread all over Brazil, and work on shifts of the operational scale that runs uninterruptedly (24-7), this module will be developed to be applied through distance learning, by computer. Distance education has been successfully employed in recent years in the Brazilian Air Force for continuous training and operational maintenance of its personnel, thanks to the advantages of allowing a large number of professionals to have fast access even over great physical distances, with flexibility of schedules. It is hoped that the benefits of the research will extend beyond the strictly linguistic scope, and may contribute to the operational safety of traffic in Brazilian airspace.


Fluência e interação no inglês aeronáutico: dos estudos descritivos à sala de aula

Pesquisadora: Malila Carvalho de Almeida Prado (Doutorado)

Supervisora: Profa. Dra. Stella Esther Ortweiller Tagnin - USP

Durante as aulas e em avaliações, a linguagem a ser abordada com pilotos e controladores de tráfego aéreo é aquela a ser utilizada na comunicação radiotelefônica em situações anormais, para as quais não há Fraseologia Aeronáutica descrita (ICAO, 2010). Para instrumentalizar a avaliação, é sugerida, pela OACI, uma escala de proficiência linguística que, por sua vez, apresenta dificuldade no entendimento tanto sobre o construto do que compõe o plain English nas comunicações via rádio quanto sobre sua concepção, devido à subjetividade e imprecisão com que são descritas as áreas linguísticas (pronúncia, estrutura, vocabulário, fluência, compreensão e interação). Na busca por uma compreensão maior do que deveriam contemplar as áreas propostas pela Escala, mais especificamente, fluência e interação, compilamos um corpus de comunicações via rádio sobre situações para as quais a Fraseologia Aeronáutica não foi suficiente, para propiciar-nos a investigação do plain English por meio da Linguística de Corpus. Com base nesse corpus, almejamos aplicar atividades na sala de aula que promovam um aprimoramento da fluência e interação dos alunos, empregando a linguagem investigada. Por fim, ao analisar as aulas e averiguar sua eficácia, proporemos um possível caminho que utilize comunicações reais no ensino com o objetivo de intensificar a competência pragmática do aluno como elemento primordial à interação entre diversas culturas, ainda que utilizando uma única língua: o inglês aeronáutico.

Fluency and interaction in aviation English: from their description to their application in the classroom

During classes and in the exams, the language to be approached with pilots and air traffic controllers is that to be used in radiotelephony communications in abnormal situations, for which there is no described phraseology (ICAO, 2010). ICAO suggests a tool for the proficiency assessment – the ICAO Rating Scale – that, in turn, demonstrates difficulty in its understanding due to the lack of knowledge on the construct of which the plain English in radio communications consists as well as to the subjectivity and imprecision in which the linguistic areas of pronunciation, structure, vocabulary, fluency, comprehension and interaction are prescribed. In search of a better comprehension of what the areas proposed in the Rating Scale should contemplate, more specifically in this research, fluency and interaction, we have compiled a corpus of radio communications on situations for which Phraseology did not suffice, to allow us an investigation through Corpus Linguistics. Based on this corpus, we will apply activities in the classroom that promote an enhancement in the students´ fluency and interaction, by employing the language investigated. We will finally analyze the classes and verify their efficiency, by proposing a possible path that takes into account real communications in the language teaching with the objective of intensifying the pragmatic competence as a fundamental element in the interaction of a variety of cultures that share a common language: aviation English.


O desempenho em língua inglesa de controladores de tráfego aéreo operacionais em comunicações radiofônicas: uma faceta de validade do EPLIS

Pesquisadora: Natalia de Andrade Raymundo (Doutorado)

Supervisora: Profa. Dra. Matilde Scaramucci – UNICAMP

O Exame de Proficiência em Inglês Aeronáutico do SISCEAB (EPLIS) é um teste de alta relevância que avalia a proficiência de profissionais que lidam com tráfego aéreo internacional no Brasil, seguindo as recomendações da Organização de Aviação Civil Internacional (OACI). Tendo em vista o impacto que o EPLIS tem na vida desses profissionais e também na sociedade de maneira geral, faz-se necessário que esse instrumento seja condizente com os requisitos que o norteiam, bem como com a necessidade linguística do profissional que o realizará. Esta pesquisa visa, portanto, desenvolver um estudo para a coleta de evidências de validade no EPLIS, de forma a verificar em que medida controladores de tráfego aéreo que obtiveram nível de proficiência operacional no exame conseguem lidar com situações linguísticas em língua inglesa que fogem àquelas previstas na fraseologia. Os dados utilizados na análise serão gerados por métodos mistos. Na primeira fase da pesquisa, serão analisadas interações de quatro controladores de tráfego aéreo que obtiveram nível de proficiência pré-operacional e operacional (NP3 e NP4) no EPLIS em órgãos de controle com grande incidência de comunicações em língua inglesa durante suas escalas operacionais. Na segunda fase, serão analisados dados quantitativos gerados através de questionário enviado a controladores de tráfego aéreo NP3 e NP4, com o objetivo de coletar as impressões desses profissionais em relação ao nível operacional do EPLIS e suas necessidades linguísticas e operacionais. Os resultados comporão o processo contínuo de validação do exame, que é uma exigência para exames de alta relevância como o EPLIS.

The performance of operational Air Traffic Controllers in radiotelephony communications in English: evidences of validity in EPLIS

The SISCEAB Aviation English Proficiency Exam (EPLIS) is a high-stakes test aimed at assessing the English proficiency of professionals who deal with international air traffic control in Brazil, which follows the requirements of the International Civil Aviation Organization (ICAO). Taking into account that EPLIS has great impact in the lives of those professionals and in the society, it is important that the instrument follows both the patterns established by ICAO and the linguistic need of the test-takers. For this reason, this mixed-methods research aims at developing data analysis of evidences of validity in EPLIS, in order to assess to what extent air traffic controllers who were assessed the operational level can deal with situations in the English language that are not contemplated in the standard phraseology. In the first phase of this research project, interactions between ATCO and international traffic of four professionals who were assessed level 3 or level 4 in EPLIS will be analyzed. In the second phase, the focus will be on the quantitative data generated by a questionnaire responded by controllers who are level 3 and 4, so as to collect their impressions on the operational level 4 and their linguistic and operational needs. The results found in this research will be part of the validation process of the exam, which is a requirement if the stakes of the exam are taken into account.


Da análise de necessidades ao desenho de um exame de proficiência em inglês para pilotos militares: um projeto em andamento

Pesquisadora: Ana Lígia Barbosa de Carvalho e Silva (Doutorado)

Supervisora: Profa. Dra. Matilde Virginia Ricardi Scaramucci (UNICAMP)

A avaliação de proficiência em inglês para pilotos militares brasileiros é o tema do projeto de tese de doutorado, ora apresentado, em desenvolvimento no Departamento de Linguística Aplicada do Instituto de Estudos da Linguagem da Unicamp, cujo objetivo é delinear um exame para avaliar a proficiência em inglês necessária a um grupo específico de pilotos militares, pertencentes ao Esquadrão de Demonstração Aérea (EDA), ou “Esquadrilha da Fumaça”, que tem a missão de difundir, por meio de suas demonstrações aéreas, a imagem institucional da Força Aérea Brasileira (FAB), e que tem, entre suas atribuições, o dever de representar a FAB no exterior como instrumento diplomático. O projeto de tese dá sequência a uma dissertação de mestrado (SILVA, 2016) que traçou uma análise de necessidades (HUTCHINSON; WATERS, 1987; DUDLEY-EVANS ST. JOHN, 1998) de uso de inglês para os pilotos dessa equipe. Os resultados da pesquisa de Silva (2016) indicam que a língua inglesa necessária ao EDA abarca vários componentes: fraseologia aérea padrão; plain English, que é o inglês comum, porém restrito às comunicações por radiotelefonia; vocabulário específico para aviação; inglês geral. No âmbito da FAB, avalia-se o inglês geral separadamente do inglês para aviação; a fraseologia padrão, em inglês, é avaliada por meio da chamada “Prova de Trafego Aéreo Internacional (TAI)”, que não é um exame de línguas, propriamente dito; o plain English, por sua vez, não é objeto de nenhuma das avaliações mencionadas. Diante de tal lacuna, o projeto de tese, ao traçar uma avaliação de proficiência em inglês para o grupo, volta-se para aquela etapa que deve ser a primeira na concepção de qualquer exame de línguas, denominada por teóricos da área de avaliação como “especificações” (ALDERSON; WALL, 1995; BACHMAN; PALMER, 1996). O projeto de tese centraliza-se nas três primeiras etapas do “ciclo de elaboração de um exame”, proposto por Fulcher (2010, p. 94): a definição do propósito, do critério e do construto do exame. Desse modo, extrapolam o escopo do projeto de tese em questão o planejamento de etapas relativas à operacionalização ou à aplicação do exame em si, como, por exemplo, a elaboração e a pré-testagem de tarefas, ou o desenho de uma grade de correção. Apoio: CAPES.

Palavras-chaves: Avaliação de proficiência em línguas. Inglês para Fins Específicos (ESP). Inglês para aviação. Especificações de um exame.

From needs analysis to the design of an English proficiency exam for military pilots: a project in progress

English proficiency assessment for Brazilian military pilots is the subject of the Ph. D. thesis project, here presented, in progress at the Department of Applied Linguistics of the Language Studies Institute of Campinas State University, Unicamp (São Paulo-Brazil), whose objective is to design an exam to assess the English proficiency that is necessary to a group of military pilots belonging to the Air Demonstration Squadron (EDA), or "Esquadrilha da Fumaça", whose mission is to disseminate, through its air demonstrations, the institutional image of the Brazilian Air Force (FAB). Among its attributions, the group has to represent the Brazilian Air Force abroad as a diplomatic instrument. The thesis project follows up a master's dissertation (SILVA, 2016) that developed a needs analysis of the use of English for the pilots of this group (See HUTCHINSON; WATERS, 1987; DUDLEY-EVANS ST. JOHN, 1998). The results of Silva's (2016) research indicate that the English language required for EDA encompasses several components: standard aeronautical phraseology; plain English, which is the common English, but restricted to radiotelephony communications; specific vocabulary for aviation; general English. In the Brazilian Air Force - FAB, general English is assessed separately from Aviation English; the standard phraseology, in English, is assessed by means of the so-called "International Air Traffic Test (TAI)", which is not a language test, properly speaking; plain English, on the other hand, is not subject to any of the aforementioned assessments. Facing such a gap, the thesis project, aiming at the outline of an English proficiency assessment for the group, goes back to what should be the first step in the design of any language exam, named by authors in the language assessment area "specifications" (ALDERSON, WALL, 1995; BACHMAN, PALMER, 1996). The thesis project focuses on the first three stages of the "test design cycle" proposed by Fulcher (2010, p. 94): the definition of the purpose, of the criterion and of the construct of the exam. Thus, it goes beyond the scope of the thesis project the planning of other steps related to the operationalization or application of the exam itself, such as the task design and pre-testing, or a rating scale design. (This thesis project is granted with the financial support from CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior).

Keywords: Language proficiency assessment. English for Specific Purposes (ESP). Aviation English. Exam specifications.


Compilação de um corpus de comunicações radiotelefônicas em língua inglesa do SISCEAB

Pesquisadora: Patrícia Tosqui Lucks. Curriculo Lattes

Propõe-se, neste projeto de pesquisa, realizar a compilação de um corpus eletrônico oral a partir da coleta e transcrição de gravações das comunicações rotineiras e não rotineiras, em língua inglesa, entre pilotos e controladores de tráfego aéreo do Sistema de Controle do Espaço Aéreo Brasileiro (SISCEAB). Primeiramente, serão coletadas gravações de comunicações efetuadas nos três órgãos operacionais (Torre de Controle, Controle de Aproximação e Centro de Controle), em localidades com fluxo intenso de tráfego aéreo internacional. Em seguida, essas gravações serão transcritas metodologicamente de acordo com os procedimentos da Linguística de Corpus para desenvolvimento de corpus oral e inseridas na ferramenta computacional “Wordsmith Tools”. Essa ferramenta possibilita a realização de um tratamento dos dados linguísticos, que permitirá, como resultados, a realização de vários tipos de análises, em relação a dados como: frequência de uso, colocações, padrões léxico-gramaticais, entre outras, em âmbito fonético-fonológico, morfossintático e semântico, por meio do processamento de um grande volume de informações, eletronicamente, de modo uniforme, preciso e rápido. Essas análises poderão ser aproveitadas para o desenvolvimento de materiais didáticos para ensino de inglês para controladores de tráfego aéreo, bem como para a elaboração de tarefas e itens de prova do Exame de Proficiência em Língua Inglesa do SISCEAB (EPLIS).

Compilation of Radiotelephony Communication Corpus of the Brazilian Airspace Control System

This research project proposes the compilation of an electronic oral corpus based on the collection and transcription of recordings of routine and non-routine communications, in English, between pilots and air traffic controllers of the Brazilian Airspace Control System (SISCEAB). First, communication recordings will be collected in the three types of air traffic control facilities (Control Tower, Approach Control and Control Center), in locations with heavy flow of international air traffic. Then, in order to develop the oral corpus, these recordings will be methodologically transcribed in accordance with the procedures of Corpus Linguistics and inserted into the “Wordsmith Tools" software. This tool processes linguistic data, which will, as a result, allow various types of analyses, such as frequency of use, language patterns, lexical grammatical standards, among others, by processing a large volume of information electronically in a uniform, accurate, and efficient way. The research may bring contributions to the development of teaching materials for teaching English to air traffic controllers as well as for the development of test tasks and items in the SISCEAB English Language Proficiency Exam (EPLIS).


Os efeitos retroativos do EPLIS nas percepções, atitudes e ações de professores e alunos de um curso de formação em controle de tráfego aéreo

Pesquisadora: Paula Ribeiro e Souza. Currículo Lattes

A introdução de um exame pelas autoridades é uma escolha consciente de que esse exame será capaz de mudar o comportamento daqueles afetados por ele (SHOHAMY, 1993). O impacto ou influência que um exame exerce nos contextos de ensino e aprendizagem e também na sociedade é definido como efeito retroativo. Esta pesquisa tem como objetivo investigar os efeitos retroativos do EPLIS (Exame de Proficiência em Inglês Aeronáutico do SISCEAB), aplicado a controladores de tráfego aéreo brasileiros pré-serviço e em serviço, nas percepções, atitudes e ações de professores e alunos de um curso de formação em controle de tráfego aéreo. Este estudo caracteriza-se como uma pesquisa de métodos mistos composta por duas fases. Na primeira fase, o foco é investigar padrões e tendências nas percepções e atitudes dos participantes em relação ao exame, assim como o impacto do exame em diversos aspectos do ensino e aprendizagem de inglês no curso. Para isso, será elaborado um questionário e os dados coletados serão analisados com o emprego de métodos estatísticos. A segunda fase pretende explicar, expandir e corroborar os dados iniciais com a coleta de dados qualitativos por meio de grupo focal, entrevistas individuais e observações de aulas. Todos os dados serão triangulados a fim de oferecer uma visão mais holística do fenômeno investigado. Dado a alta-relevância do EPLIS e sua implementação no cenário escolar como um teste obrigatório, é esperado que seus efeitos tenham se intensificados. Os resultados irão contribuir para a construção de uma teoria mais satisfatória sobre o efeito retroativo – sua natureza, como e em que circunstâncias atua, como pode ser medido e quais fatores interverem no processo.

The washback of EPLIS on teachers’ and learners’ perceptions, attitudes and actions in an Air Traffic Control Initial Training Program

The introduction of a test by the authorities is an acknowledgment of its power to change the behavior of those affected by it (SHOHAMY, 1993). Washback effect is defined as the impact or influence of a test on teaching and learning and on the society. This study aims at investigating the washback effect of EPLIS on teachers’ and students’ perceptions and actions in an Air Traffic Control Initial Training Program. Adopting a mixed methods research design, this study comprises two consecutive phases. In phase 1, the focus is to identify some patterns and trends of perception and attitude among students and teachers in relation to EPLIS, as well as the impact of the exam on aspects of English teaching and learning in the training program. A questionnaire will be designed and statistical methods will be employed to analyze the data. The aim of phase 2 is to explain, expand and corroborate the initial results. To this end, qualitative data will be collected through focus group, individual interviews and class observations. Given the high stakes of EPLIS and its introduction as a mandatory test for pre-service air traffic controllers, its effects are expected to have been intensified within the context of this study. All data will be triangulated in order to provide a holistic account of the phenomenon under investigation. The results will contribute to a more robust theory about the washback effect – what its nature is, how and in what circumstances it acts, how it can be measured and what forces intervene in the process.


O uso de estratégias comunicativas em inglês no controle de tráfego aéreo brasileiro

Pesquisadora: Natália Guerreiro Currículo Lattes . Pode-se entrar em contato com ela através do site Aviation English Hub.

Supervisora: Profa. Dra. Matilde Scaramucci

Instituição: ICEA/UNICAMP.

Esta pesquisa tem como objetivo descrever e categorizar as estratégias comunicativas encontradas em gravações dos centros de controle de área (ACC) brasileiros para, posteriormente, investigar os critérios empregados por controladores de tráfego aéreo experientes na avaliação da eficácia e eficiência dessas estratégias. A pesquisadora reuniu áudios do controle de tráfego aéreo de ACC para identificar o uso explícito de estratégias comunicativas e, com isso, averiguar quais estratégias surgem nas situações reais de uso. Em seguida, serão selecionados trechos críticos dessas gravações em que estratégias comunicativas foram empregadas ou poderiam ter sido empregadas para resolver problemas na comunicação aeronáutica. Esses recortes de interação entre pilotos e controladores serão utilizados para provocar a reflexão e o debate em um grupo focal com controladores de tráfego aéreo brasileiros experientes que também desempenham papel de supervisão, instrução e/ou investigação de acidente. Dessa forma, a pesquisa pretende contribuir para a definição de competência estratégica na proficiência em inglês para o controle de tráfego aéreo.

Palavras-chave:critérios autóctones de avaliação; definição da situação real de uso; competência estratégica; estratégias comunicativas; inglês aeronáutico.

The Use of Communication Strategies in English in Brazilian Air Traffic Control

This research aims to describe and categorize the communication strategies found in recordings of Brazilian Area Control Centers (ACC) to later investigate the criteria adopted by experienced air traffic controllers when assessing the efficacy and efficiency of such strategies. The researcher collected ACC air traffic control audios to identify the explicit use of communication strategies and, thus, check which communication strategies arise in the target language use situation. After that, she will select critical snippets of those recordings in which communication strategies were used or could have been used to solve problems in aeronautical communication. Those short interactions between pilots and controllers will then be used to promote reflection and debate in a focus group with experienced Brazilian air traffic controllers who also act as supervisors, instructors and/or accident investigators. Therefore, this study aims to contribute to a definition of strategic competence within the proficiency of English for air traffic control.

Key words: indigenous assessment criteria; target language use definition; strategic competence; communication strategies; Aviation English


Considerações sobre a escala de níveis de proficiência linguística para controladores de tráfego aéreo

Pesquisadora: Beatriz Faria Aragão. (biaaragao@yahoo.com / beatriz@icea.gov.br) Currículo Lattes

Palavras-Chave: escalas; critérios autóctones

Instituição: ICEA/UNICAMP.

A Organização da Aviação Civil Internacional (OACI), após ter conduzido uma análise de diversos acidentes e incidentes aéreos e concluído que a linguagem utilizada em radiotelefonia era um fator contribuinte, passou a exigir uma avaliação de proficiência em língua inglesa dos profissionais envolvidos com tráfego aéreo internacional como parte dos Requisitos de Proficiência Linguística (Language Proficiency Requirements, LPRs). Esses requisitos estão relacionados à segurança operacional, à necessidade de comunicar-se em radiotelefonia de modo seguro, empregando sempre que possível uma linguagem restrita e codificada, chamada fraseologia, e o inglês comum nas situações não atendidas pela fraseologia em comunicações internacionais. Subsequentemente, em março de 2004, a OACI publicou o Manual de Implementação dos Requisitos de Proficiência Linguística (Manual on Implementation of ICAO Language Proficiency Requirements-Doc. 9835 AN/ 453). Esse manual contém uma escala de natureza analítica que é utilizada para avaliar a proficiência dos profissionais em questão, no contexto nacional e internacional. A escala possui seis categorias: pronúncia, vocabulário, estrutura, fluência, compreensão e interação. Cada uma delas possui descritores para os seis níveis de proficiência: nível 1 pré-elementar, nível 2 elementar, nível 3 pré-operacional, nível 4 operacional, nível 5 avançado e nível 6 experto. Para fins de habilitação em língua inglesa, os profissionais avaliados devem obter o nível 4 em todas as categorias. No entanto, os requisitos de proficiência em língua inglesa da OACI e a escala são alvos de diversas discussões desde a sua implementação. Apesar de o tema ser bastante discutido e já ter sido abordado por alguns pesquisadores e teóricos, pode-se afirmar que a natureza da linguagem utilizada em radiotelefonia ainda gera incertezas e precisa ser melhor compreendida. No decorrer desta pesquisa buscou-se através da utilização de critérios autóctones obter uma melhor caracterização dessa linguagem, de acordo com a percepção dos controladores de tráfego aéreo, sobre as principais características da comunicação bem sucedida em radiotelefonia e os fatores linguísticos que mais contribuem para a condução de uma comunicação eficiente e bem sucedida. O objetivo desta pesquisa é oferecer contribuições para uma revisão da escala atual de maneira que melhor represente a situação-alvo (target language use – TLU) o que ainda, poderá contribuir para o desenvolvimento dos instrumentos de avaliação no contexto aeronáutico. Na condução desta investigação, foram utilizados como técnica principal grupos focais com controladores de tráfego aéreo brasileiros e a observação como técnica secundária de geração de dados. Após a análise e categorização dos elementos em subcategorias mais específicas, discutimos e analisamos os elementos mais recorrentes de maneira que eles possam ser utilizados como subsídios para uma revisão da escala atual.

Considerations on the language proficiency rating scale for air traffic controllers

After conducting the analysis of several incidents and accidents, the Civil Aviation Organization (ICAO) concluded that the language used in radiotelephony communications had played a major role as a contributing factor. As a consequence, ICAO required that all professionals involved with international air traffic operations were submitted to an English language proficiency exam as part of the Language Proficiency Requirements, LPRs. These requirements are related to the operational safety, concerning the need of communicating in a safe way in radiotelephony, using a restricted and coded language, called phraseology, and the plain English in situations where pharesology does not suffice during all international communications. Subsequently, on March 2004, ICAO published the Manual on Implementation of ICAO Language Proficiency requirements- Doc.9835 AN/453. This manual brings on its attachment an analytic rating scale which is used both on international and national context to assess the language proficiency of those professionals. The scale has six categories: pronunciation, vocabulary, structure, fluency, comprehension and interaction. Each category has descriptors for each one of its proficiency levels; level 1 elementary, level 2 pre- elementary, 3 pre operational, 4 operational, 5 extend, 6 expert. For licensing purposes the candidate has to achieve a level 4 in all the categories. Nevertheless, both the language proficiency requirements and the scale trhave been criticised since its implementation. Eventhough this issue has already been discussed and studied by some researchers, there is still the need of a better understanding about the nature of the language used in radiotelephony. During the development of this study, drawing on indigineous assessment criteria, we searched for a better understanding of the main characteristics of an efficient and well succeded communication in radiotelephony as well as the main linguistic aspects that contribute to that. The aim of this research is to contribute to a review of the actual rating scale in order to have a better representation of the target language use situation which in turn, may contribute with the develpment of better instruments to assess language proficiency in this specific context. Focal groups with Brazilian air traffic controllers were conducted and used as the primary souce of datta colleting and analysis and on the job observations were also made as a secondary source. For the analysis section, the collected data were categorized and classified into more specific subcategories which were discussed and analysed in terms of the most recurrent aspects providing some reflections and insights on the review of the actual rating scale.

Key words: rating scales; indigineous assessment criteria


Explorando o construto das comunicações radiotelefônicas internacionais entre pilotos e controladores de tráfego aéreo e sua operacionalização em desenvolvimento de testes: Uma abordagem de métodos mistos

Pesquisadora: Ana Lúcia Tavares Monteiro. Doutorado (Carleton University, Canadá).

Instituição: ANAC.

Nesta pesquisa de métodos mistos com múltiplas fases, três estudos inter-relacionados serão conduzidos como parte do mesmo programa de pesquisa. O objetivo principal é aumentar a segurança das comunicações interculturais entre pilotos e controladores através da exploração do conhecimento, habilidades e atitudes requeridos para interações em radiotelefonia eficazes, e através do desenvolvimento e aplicação experimental de novas tarefas de teste que visam a operacionalização do construto identificado.

Na fase 1, uma pesquisa de métodos mistos exploratória e sequencial será conduzida, baseada em uma investigação qualitativa inicial de fatores interculturais que emergem de estudos de caso de comunicações internacionais entre pilotos e controladores, que podem afetar a maneira como eles interagem no rádio usando a língua inglesa. Esses fatores serão codificados tematicamente e categorizados em uma taxonomia. As categorias e sub-categorias irão informar a fase quantitativa subsequente – o desenvolvimento de uma pesquisa online – com o objetivo de dar voz às perspectivas dos pilotos e controladores sobre as potenciais ameaças dos fatores interculturais para a segurança das comunicações radiotelefônicas.

A fase 2 expande a fase 1, consistindo em um estudo qualitativo baseado em uma revisão de pesquisas teóricas e empíricas com o fim de propor modelos de uso da língua relevantes para as comunicações radiotelefônicas, a partir dos quais uma matriz de construtos relevantes será especificada. Para validar esta matriz, grupos focais e entrevistas individuais serão conduzidos com as partes interessadas em inglês aeronáutico (pilotos, controladores de tráfego aéreo, professores, examinadores/desenvolvedores de testes, pesquisadores e reguladores).

A fase 3 inclui as etapas de desenvolvimento de tarefas de teste e aplicação experimental. Após o desenvolvimento das especificações das tarefas de teste e de duas tarefas de role-play, uma pesquisa de métodos mistos será conduzida durante a aplicação experimental. Dados qualitativos e quantitativos serão coletados a partir de candidatos, interlocutores e avaliadores, relacionados com suas perspectivas sobre a adequação da tarefa, impacto na preparação dos candidatos, confiança dos interlocutores, uso de funções da linguagem e evidência de habilidades/comportamentos indicativos de comunicações eficazes. Transcrições de dados gerados a partir do desempenho nas tarefas de teste também serão analisados. Evidência de aspectos relevantes sobre validade obtidos a partir de dados QUAL e QUAN e sua avaliação através da união dos resultados permitirá inferências mais fortes e um entendimento maior sobre desenvolvimento de tarefas de teste, com base nas perspectivas de expertos no assunto.

Exploring the construct of pilots and air traffic control officers’ international radiotelephony communications and its operationalization in test design: A mixed method approach

In this multiphase mixed methods (MM) design, three interrelated studies will be conducted as part of the same program of research. The main objective is to increase the safety of pilot-ATCO intercultural communications through the exploration of knowledge, skills and attitudes required for effective radiotelephony (RT) interactions, and through the design and trialing of new test tasks that aim to operationalize the identified construct.

In phase 1, an exploratory sequential MM design will be applied, based on an initial qualitative investigation of intercultural factors that arise from case studies of international pilot-ATCO communications, which can affect the way they interact in the English language. Those factors will be thematically coded and categorized into a taxonomy. The categories and sub-categories will then inform the subsequent quantitative phase – the development of an online survey – aiming to give voice to pilots’ and ATCOs’ perceptions of the potential threats of intercultural factors to the safety of RT communications.

Phase 2 builds on phase 1, consisting of a qualitative study based on a review of theoretical and empirical research in order to propose models of language use relevant to RT communications, from which a matrix of relevant constructs will be specified. In order to validate this matrix, focus groups and individual interviews with aviation English (AE) stakeholders (pilots, ATCOs, AE teachers, AE examiners/test developers, and AE researchers, and regulators) will be conducted.

Phase 3 includes the steps of task design and task trialing. After the design of draft task specifications and two draft role-play tasks, a convergent parallel MM design will be applied during task trialing. Qualitative and quantitative data will be collected from test takers, interlocutors and raters, related to their perceptions of task appropriacy, impact on test-taker preparation, confidence of interlocutors, use of language functions and evidence of skills/behaviors indicative of effective communication. Transcripts of data yielded from task performances will also be analyzed. Evidence of relevant aspects of validity drawn from both QUAL and QUAN data and their evaluation through merging the results will allow for stronger inferences and a greater insight into task design, based on domain experts’ perspectives.