Resumos

1 Introdução

A partir dos anos 1990, com avanço da informatização, as revistas passaram a ser dispostas na web. Com as revistas eletrônicas, a busca por artigos se tornou mais simples. Com o surgimento das Bases de Dados, a reunião de diferentes periódicos em um mesmo sítio propiciou economia de tempo para o pesquisador, que não mais tem de ir a cada revista para buscar os artigos de seu interesse.

Atualmente existem diversas bases de dados contendo revistas e artigos. Uma das maiores bases de dados é a Web of Science (WOS) que disponibiliza acesso a mais de 12.000 títulos de periódicos (CAPES, 2017CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE NÍVEL SUPERIOR. Disponível em: Disponível em: http://www.periodicos.capes.gov.br/ . Acesso em: 12 abr. 2017.
http://www.periodicos.capes.gov.br/... ). A WOS, anteriormente conhecida como “Web of Knowledge”, permite a indexação de citações científicas e o cálculo do Fator de Impacto de cada periódico por meio de recursos bibliométricos. Originalmente produzido pelo Instituto de Informação Científica (ISI), agora mantido pela Clarivate Analytics (anteriormente propriedade da Thomson Reuters), a WOS fornece uma busca bem abrangente de referências. Ela dá acesso a vários bancos de dados que permitem a exploração em profundidade de sub-campos especializados dentro de uma disciplina acadêmica ou científica (DRAKE, 2004DRAKE, Miriam A. Encyclopedia of library and information science. New York, N.Y.: Marcel Dekker, 2004.). Ela permite acesso a referências e resumos em todas as áreas do conhecimento. Por meio da WOS, estão disponíveis ferramentas para análise de citações, referências, índice h e outras análises bibliométricas.

Antes do advento da tecnologia digital, a busca por um artigo era feita em bibliotecas e a fotocópia do artigo enviada pelo correio, semanas depois. Agora ficou mais fácil. Difícil, no entanto, é organizar a enorme quantidade de papers que retornam da pesquisa para decidir o que ler e o que não ler. Embora haja na literatura inúmeros artigos sobre os métodos e técnicas de pesquisa, poucos são os trabalhos que abordam as técnicas de revisão de literatura ou pesquisa bibliográfica.

O resultado dessa desatenção ao processo de revisão de literatura tornou célebre o artigo de Alves (1992ALVES, Alda Judith. Revisões bibliográficas em teses e dissertações: meus tipos inesquecíveis. Cad. Pesqui., São Paulo, p. 53-61, 1992.), revisado e publicado posteriormente (ALVES-MAZZOTTI, 2006ALVES-MAZZOTTI, Alda Judith. A “revisão da bibliografia” em teses e dissertações: meus tipos inesquecíveis - o retorno. In: BIANCHETTI; MACHADO (org.). A bússola do escrever: desafios e estratégias na orientação e escrita de teses e dissertações. 2. ed. Florianópolis: Editora da UFSC; São Paulo: Cortez, 2006. p. 25-44.) no livro organizado por Bianchetti e Machado (2006BIANCHETTI, Lucidio; MACHADO, Ana Maria Netto. A bússola do escrever: desafios e estratégias na orientação e escrita de teses e dissertações. Florianópolis: Editora da UFSC ; São Paulo: Cortez , 2006.) com a constatação da autora de que, infelizmente, “os problemas continuam os mesmos” (ALVES-MAZZOTTI, 2006, p. 25). Onze anos depois, constatamos que “os tipos de revisão a serem evitados” (ALVES-MAZZOTTI, 2006, p. 26) continuam se repetindo nas teses e dissertações. Entre eles, recordamos alguns: a “Summa”, revisão que ilusoriamente tenta esgotar o assunto, desde o período mais antigo; o “Patchwork”, aquela que apresenta uma colagem de conceitos, pesquisas e afirmações de diversos autores, sem um fio condutor capaz de guiar o leitor; o “Suspense”, roteiro pelo qual o tema de estudo só aparece nas páginas finais do capítulo; o “Rococó”, em que conceituações teóricas rebuscadas tentam dar elegância a dados irrelevantes; o “Caderno B”, o texto leve que trata o tema de modo ligeiro, geralmente a partir de livros didáticos e handbooks; “o Ventríloco”, revisão em que o autor só fala pelos autores citados, sem análises críticas e tomadas de posição.

Tendo em vista, por um lado, a dificuldade prática dos estudantes de mestrado e doutorado em organizar o referencial teórico de seus trabalhos acadêmicos e, por outro, a lacuna teórica na produção de artigos sobre esse assunto, objetivamos com este artigo apresentar uma ferramenta que tem se mostrado útil para a organização da revisão de literatura de teses e dissertações: a Tree of Science (ToS), Árvore da Ciência. A ToS é uma é uma ferramenta baseada na web que utiliza algoritmos de rede para otimizar a pesquisa e seleção de artigos científicos. Com este recurso, os pesquisadores realizam buscas nas bases de dados da WOS, criam um arquivo de texto com as referências selecionadas e os submete para a montagem de uma árvore, que classifica as referências encontradas em três níveis: a raiz, que reúne os artigos seminais; o tronco, que agrega artigos estruturadores; e as folhas, que indica perspectivas de pesquisa, em geral artigos mais recentes (TREE OF SCIENCE, 2017TREE of Science. 2017. Disponível em: Disponível em: http://tos.manizales.unal.edu.co/about/ . Acesso em: 15 abr. 2017.
http://tos.manizales.unal.edu.co/about/... ). Além da forma gráfica de árvore, é possível elencar os artigos em arquivo Excel, no formato de campos separados por vírgula (.csv).

A classificação das referências em artigos seminais, estruturadores e mais recentes obedece a técnicas bibliométricas utilizando conceitos da teoria dos grafos, por meio da análise das redes de citações. Três indicadores são utilizados: grau de entrada, intermediação e grau de saída. Os artigos com grau de entrada alto e saída zero são os denominados seminais. Os artigos com um grau de intermediação alto são os chamados troncos. Aqueles que tem um grau de saída alto e um grau de entrada zero são denominados folhas (ROBLEDO; OSORIO; LOPEZ, 2015ROBLEDO, Sebastian; OSORIO, German; LOPEZ, Carolina. Networking en pequeña empresa: una revisión bibliográfica utilizando la teoria de grafos. Revista Vínculos, Manizales, Colômbia, v. 11, n. 2, p. 6-16, 2015.). A partir do conhecimento prévio do pesquisador, ou do grupo de pesquisadores, considerando a participação do orientador, é possível construir os galhos, que são as perspectivas teóricas que agrupam as folhas.

O uso da ToS vem se mostrando muito útil nos trabalhos acadêmicos do grupo de pesquisa do qual fazemos parte. Podemos de fato constatar que seu slogan é de fato verdadeiro: “search less, research more”. A economia de tempo com a busca por artigos tem propiciado maior disponibilidade para a sua leitura e para um referencial teórico diferente dos tipos elencados por Alves (1992ALVES, Alda Judith. Revisões bibliográficas em teses e dissertações: meus tipos inesquecíveis. Cad. Pesqui., São Paulo, p. 53-61, 1992.) e recordados aqui.

Como forma de trazer um exemplo do uso da ferramenta ToS, realizamos uma busca pelos termos “Avaliação” e “Pós-graduação” (avaliação and pós-graduação) na base de dados WOS no SciELO Citation Index. A opção por limitar a pesquisa ao Scielo teve como objetivo restringir a busca a publicações de autores brasileiros, visto que a dissertação de mestrado a ser realizada por um dos autores tem como tema a avaliação da pós-graduação brasileira coordenada pela Capes. A partir da pesquisa na WOS, foi criada a árvore da ciência com artigos seminais (raiz), estruturadores (tronco) e os derivados das perspectivas por nós determinadas (folhas). Nossa revisão organizou quatro perspectivas: (1) Avaliação de Programas de Pós-graduação / Capes, (2) Produtivismo, (3) Avaliação educacional e (4) Produção cientifica.

A próxima seção deste artigo descreve o processo de seleção de artigos na WOS e a criação da árvore da ciência no ToS. A terceira seção explica as diferentes perspectivas criadas pelos autores a partir da base dados da WOS, e, na última seção, fazemos as considerações finais.

2 Um exemplo do uso da ferramenta ToS

Por interesse dos pesquisadores, foram definidos os termos da busca: “avaliação” e “pós-graduação”. Em seguida, foi realizada uma pesquisa na base de dados da WOS no Scielo Citation Index. Como já dito, a busca pelo termo em português é estratégica para esta pesquisa, dado o interesse em encontrar evidências sobre a avaliação da pós-graduação no Brasil, especificamente a Avaliação Capes de Programas de Pós-graduação. A sintaxe de busca adotou o seguinte modelo: pesquisa por tópico “avaliação” e (and) pesquisa por tópico “pós-graduação”, refinado por tipos de documento “Research article” nas categorias da Scielo: “Education Education research or Management” em todos os anos no índice “Scielo” (Figura 1).

Figura 1
Configuração da busca

Realizada a busca na WOS, foram retornados 82 artigos, um número bem inferior ao de outras pesquisas realizadas por nós. São poucas as investigações sobre o tema no Brasil. Para gerar a árvore da ciência no ToS, é necessária a criação de um arquivo texto na WOS contendo “registro completo e referências citadas”. Este arquivo é submetido na ToS em “New search” a fim de gerar a árvore da ciência. A árvore fica armazenada em “Uploads” e poderá ser consultada quando necessário. Esta é configurada na forma padrão, em formato de uma lista onde os artigos são antecedidos de pequenos círculos amarelos, marrons ou verdes. Os círculos amarelos são as referências seminais, os marrons são os estruturadores, e os verdes são os mais recentes.

Na Figura 2, são apresentados os resultados em forma gráfica (árvore), organizado desta forma, a fim de exibir melhor os indicadores acima.

Figura 2
Resultado em forma de árvore da ciência

Na árvore da ciência, cada círculo representa uma publicação, podendo ser livro, artigo ou um documento. Ao clicar em cada um desses círculos, é exibida a respectiva referência. No caso de artigo, aparecem o autor, ano, volume e página da revista em que o artigo foi publicado. Para alguns artigos existe a possibilidade de acessá-lo via link pelo Digital Object Identifier (DOI). Para documentos, como o Diário Oficial da União, Documentos Capes ou mesmo anais de congressos, os dados da tabela não permitem a identificação direta, exigindo do pesquisador que os busque nas referências bibliográficas dos artigos encontrados. Para este artigo, em função do seu objetivo, limitamos o exemplo aos artigos.

Das dez referências elencadas como seminais, raiz da árvore, cinco são documentos, como o Diário Oficial da União, de 2001, o Documento Capes da área de Educação 2004, um documento denominado Anais, de 2009, que não conseguimos identificar, o V Plano Nacional de Educação, de 2004, e novamente um Diário Oficial da República Federativa do Brasil, de 1966. Os artigos publicados em periódicos são listados no Quadro 1, a seguir.

O tronco da árvore da ciência sobre a avaliação da pós-graduação recebeu 10 referências, entre eles dois documentos, um do Conselho Técnico Científico da Capes, denominado “Reestruturação do Qualis”, de 2009 e o Documento da área de Educação, também da Capes, de 2004, curiosamente também classificado como artigo seminal. Os outros 8 documentos são artigos, indicados no Quadro 2.

A copa da árvore da ciência, suas folhas, reuniu na busca do ToS, 60 referências, todas elas artigos científicos. Do total, apenas três artigos não ofereciam acesso pelo link disponível no ToS. Destes três artigos, apenas um não foi localizado em buscas no Scielo, no Google, no Currículo Lattes e na Web em geral. Os 59 artigos encontrados estão citados no Quadro 3, a seguir.

A partir dessa busca, está reunido o material bibliográfico que serve como ponto de partida para a revisão teórica pertinente à pesquisa. Observamos que algumas referências se repetem, como o caso de Kuenzer e Moraes (2005), que está na raiz e na folha da árvore, assim como Dias e Rorato (2014DIAS, Evandro Dotto; RORATO, Rodrigo. Economic evolutionism in the brazilian graduate studies: an analysis from the vantage point of education. Avaliação, Campinas; Sorocaba, v. 19, n. 1, p. 193-226, 2014. Doi: https://dx.doi.org/10.1590/S1414-40772014000100010 Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772014000100010&lng=pt&tlng=pt . Acesso em: 12 mar. 2017. Quadros 2, 3 e 4.
http://www.scielo.br/scielo.php?script=s... ), que está no tronco e na folha, mesmo caso de Gurgel e Leite (2007GURGEL, Carmesina Ribeiro; LEITE, Raimundo Hélio. Avaliar aprendizagem: uma questão de formação docente. Ensaio, Rio de Janeiro, v. 15, n. 54, p. 145-168, 2007. Doi: https://dx.doi.org/10.1590/S0104-40362007000100009. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362007000100009&lng=pt&tlng=pt . Acesso em: 14 fev. 2017.
http://www.scielo.br/scielo.php?script=s... ) e Muñoz e Alonso (2015). De posse dos artigos, resta organizar a estrutura do referencial teórico do trabalho, que vai depender de como o pesquisador analisa os seus conteúdos e classifica as perspectivas teóricas presentes na literatura pesquisada.

3 Alternativas de estruturação da revisão bibliográfica

Existem várias opções de organização da pesquisa bibliográfica, tanto em termos de forma como de conteúdo. Apresentamos inicialmente a organização formal. No item seguinte, descrevemos a organização em termos de conteúdo, a partir das perspectivas criadas pelos autores na revisão de literatura do nosso exemplo, a avaliação da pós-graduação.

3.1 Critérios formais de organização da revisão bibliográfica

A classificação das referências encontradas na busca pode ser feita pelo site do Web of Science. Em termos de forma, os critérios podem ser geográficos, por idioma da publicação, instituição de origem, distribuição dos artigos por ano de publicação, e, por fim, os veículos responsáveis, a revista ou a editora.

A partir do critério geográfico, no nosso exemplo já era esperado que as referências da busca não estivessem distribuídas de forma homogênea. Do total de 82 referências, 69 foram identificadas como brasileiras, sendo que o restante se distribuiu por Espanha (3 publicações), Argentina (2 publicações) e Colômbia, Cuba, Inglaterra, México, Peru, Portugal, Timor Leste e Estados Unidos (com uma referência cada).

A distribuição anterior confirma que a maior parte dos artigos foi escrita no idioma português, 73, o que corresponde a um percentual de 89,03%. Nove trabalhos foram escritos em espanhol, representando 10,97%.

Como a maioria dos artigos são de nacionalidade brasileira, existe uma grande concentração destes artigos publicados por instituições de ensino superior brasileiras. Dos 82 artigos encontrados, a Universidade de São Paulo (USP) é a instituição que que mais publicou sobre o tema pesquisado, são 9 artigos (10,97%), seguida da Universidade Federal do Rio Grande do Sul (UFRS), com 5 artigos (6,09%). A Figura 3 ilustra a distribuição de artigos por instituição de ensino superior.

Figura 3
Distribuição de artigos por instituição

Outra análise importante que a WOS provê é a quantidade de referências sobre o termo pesquisado por ano. No ano de 2011, foram publicados 10, seguido de 2012 com 9 referências, e 2013 com 8. Os demais anos possuem uma distribuição homogênea, variando no máximo em um ponto. A Figura 4 ilustra a distribuição de artigos do tema pesquisado por ano.

Figura 4
Distribuição de artigos por ano

Uma outra informação que vale ressaltar é a distribuição de artigos por veículos de informação. A “Revista Avaliação da Educação Superior” (RAES) é a que mais publica sobre o termo pesquisado, com 17 itens, um total de 20,73%, seguida da “Ensaio: Avaliação e Políticas Públicas em Educação” e “Revista Brasileira de Educação”, ambas com 9 artigos, representando um percentual de 10,97% cada uma. As demais revistas possuem o mesmo número de artigos, variando em um ponto (Figura 5).

Figura 5
Distribuição de artigos veículos de informação

Muitas revisões de literatura se resumem a descrever aspectos formais como os apontados anteriormente, o que pouco acrescenta à organização do estado da arte da pesquisa sobre o tema. Os artigos sequer precisam ser lidos para que essa análise seja feita. E a base de dados pode fazer isso para o pesquisador, como foi o caso da WOS. Outra forma de organizar a revisão de literatura é a partir do seu conteúdo. Esta se mostra bem mais importante. É o que veremos a seguir.

3.2 Critérios de organização da revisão bibliográfica baseados no conteúdo dos artigos

Em termos de conteúdo, o maior trabalho consiste em conceber os galhos (ou ramos) onde os artigos da árvore se situam. Chamamos os galhos de perspectivas. Essa análise exige a leitura dos artigos e a sua sistematização já possibilita que o autor coloque a sua marca na revisão bibliográfica, na medida em que é ele que classifica os artigos e os organiza em termos de conteúdo, abordagem ou perspectiva teórica.

Na revisão de literatura que tomamos como exemplo, identificamos quatro perspectivas a partir da leitura dos artigos, a saber: Avaliação da pós-graduação / Capes; Produção científica; Produtivismo acadêmico (que também pode ser chamado de cultura da performatividade); e Avaliação educacional. A perspectiva que concentrou maior número de artigos foi a Avaliação da Pós-graduação / Capes. A partir da leitura dos artigos, vemos que a perspectiva Produção Científica é um corolário da primeira perspectiva, ao passo que o Produtivismo Acadêmico é um efeito colateral deste.

A perspectiva Avaliação educacional, por outro lado, aborda temas desde avaliação docente até avaliação institucional da educação, passando por avaliação da aprendizagem. Tal organização dos artigos ajuda o pesquisador a eleger o fio condutor da revisão teórica que está empreendendo, seja para limitar a sua análise, seja para necessariamente tratar do assunto. Por exemplo, se seu foco na pesquisa é a produção acadêmica, a revisão da literatura pode levá-lo a excluir o tema do produtivismo ou, ao contrário, pode exigir que ele o aborde como efeito perverso da avaliação da produção acadêmica. Essa decisão compete ao pesquisador e seu grupo de pesquisa, de acordo com suas prioridades, seus limites, condições de trabalho, etc.

Vale a pena observar que, nos artigos seminais, classificamos três artigos na perspectiva da Avaliação da Pós-graduação / Capes, um artigo na perspectiva produção científica e um artigo na perspectiva Produtivismo Acadêmico. Apenas a perspectiva avaliação educacional não teve artigo de periódico entre as referências de raiz. Na categoria “tronco”, de artigos estruturadores, não classificamos nenhum artigo apenas na perspectiva produção científica (Quadro 4).

Vale a ressalva de que limitamos esta classificação a artigos de periódicos, excluindo os documentos de área, diários oficiais e artigos de anais de congressos.

3 Considerações finais

Não há projeto de pesquisa consistente sem uma boa revisão de literatura. Não há pesquisa sem a leitura da revisão de literatura. Não há produções resultantes da pesquisa, como artigos científicos, sem referências bibliográficas. Seja na formulação de um problema de pesquisa, seja na concepção do projeto, seja durante a análise dos dados, seja na produção dos artigos resultantes da investigação, a leitura se faz presente de forma necessária e imprescindível. Em nosso grupo de pesquisa, costumamos repetir que “sem input não há output”. Se o produto da atividade de pesquisa é o artigo científico, um dos seus inputs fundamentais é a leitura.

Essa máxima foi muito bem traduzida por Rössing (2002RÖSSING, Tânia Marta Kuchenbecker. Se não lêem ou lêem pouco, como esperar que escrevam? In: BIANCHETTI, Lucídio (org). Trama e texto: leitura crítica, escrita criativa. Passo Fundo: Ed. UPF, 2002.), quando pergunta: “se não leem ou leem pouco, como esperar que escrevam? ” (p. 68). Entretanto, diante de tão numerosas e vastas fontes de pesquisa, tão importante quanto ler é saber o que não ler. Para definir as leituras que devem ser dispensadas, é preciso saber definir bem o problema de pesquisa. De-finir, etimologicamente, significa colocar fim, demarcar as fronteiras, marcar os limites, ou seja, de-limitar. Pensamos que a ferramenta do Tree of Science, elaborada a partir da busca na base de dados do Web of Science, é uma ótima estratégia para dar ao texto da revisão teórica o seu fio condutor.

Não queremos com isso dizer que a pesquisa deva se limitar a essa base de dados, mas que é uma possibilidade para permitir ao pesquisador, com a leitura dos textos selecionados, elaborar o fio condutor de sua revisão bibliográfica. Tal fio condutor permitirá que a pesquisa em outras bases de dados como Scopus, por exemplo, seja feita a partir das perspectivas propostas a partir da pesquisa do WOS.

Como principal contribuição teórica do artigo, pensamos oferecer aqui a possibilidade de a revisão da literatura não ser vítima dos problemas tão bem levantados por Alves (1992ALVES, Alda Judith. Revisões bibliográficas em teses e dissertações: meus tipos inesquecíveis. Cad. Pesqui., São Paulo, p. 53-61, 1992.) a respeito das revisões bibliográficas. Ao contrário, poderá constituir-se em uma verdadeira construção teórica, na medida em que permite ao pesquisador organizar as perspectivas a partir das quais pretende abordar o tema do seu trabalho acadêmico. A elaboração das perspectivas depende do conhecimento prévio do pesquisador. Em caso de trabalhos de mestrado, ou mesmo, de doutorado, a participação do orientador se faz necessária para garantir melhor classificação das publicações encontradas na busca.

Um dos limites para que a pesquisa possa ser realizada é o acesso à base de dados do WOS. Ele está disponível na Plataforma Periódicos, da Capes, mas não para todas as Instituições de Ensino Superior. Trata-se de uma base de dados que exige uso de senha, disponibilizada pela instituição responsável pela assinatura. Já o acesso ao Tree of Science depende apenas de convite de uma pessoa que tenha acesso. Os autores desse artigo se colocam a disposição para fazê-lo a todos os que lhes comunicarem o seu interesse.

Referências

Datas de Publicação

Histórico