Incidencia en falsos positivos y negativos en los resultados del laboratorista

 

Incidence of false positives and negatives in laboratory results

 

Incidncia de falsos positivos e negativos em resultados de laboratrio

Leidy Mishell Bajaa-Romero I
bajana-leidy2369@unesum.edu.ec
https://orcid.org/0000-0003-3161-9511
,Gabriela Stefania Baque-Zambrano II
baque-gabriela6398@unesum.edu.ec
https://orcid.org/0000-0002-1130-6051
,Mercedes Marcela Pincay-Pilay III
pincay.marcela@unesum.edu.ec
https://orcid.org/0000-0001-9730-5481
,Nereida Josefina Valero-Cedeo IV
nereida.valero@unesum.edu.ec
 https://orcid.org/0000-0003-3496-8848
 

 

 

 

 

 

 

 

 


Correspondencia: bajana-leidy2369@unesum.edu.ec

 

Ciencias de la salud

Artculo de investigacin

*Recibido: 17 de abril de 2020 *Aceptado: 4 de mayo 2020 * Publicado: 26 de junio de 2020

 

        I.            Carrera de Laboratorio Clnico, Facultad de Ciencias de la Salud, Universidad Estatal del Sur de Manab, Jipijapa, Ecuador.

      II.            Carrera de Laboratorio Clnico, Facultad de Ciencias de la Salud, Universidad Estatal del Sur de Manab, Jipijapa, Ecuador.

  III.            Magister en Comunicacin y Marketing, Ingeniera en Estadstica Informtica, Carrera de Laboratorio Clnico, Facultad de Ciencias de la Salud, Universidad Estatal del Sur de Manab, Jipijapa, Ecuador.

  IV.            Doctora Dentro del Programa de Doctorado en Inmunologa (Inflamacin Enfermedades del Sistema Inmune y Nuevas Terapias), Magister Scientiarum en Biologa Mencin Inmunologa Bsica, Licenciado en Bioanalisis, Carrera de Laboratorio Clnico, Facultad de Ciencias de la Salud, Universidad Estatal del Sur de Manab, Jipijapa, Ecuador.


Resumen

Los diferentes procesos en el diagnstico clnico o pruebas del laboratorio renen una serie de caractersticas, estas reflejan la informacin esperada acerca de un paciente en la cual se desea saber si padece o no de determinada enfermedad. Las pruebas de tamizaje son las principales herramientas contra la prevencin y el diagnstico individual de patologas en los pacientes, al comprender una funcin muy importante, este tipo de pronstico puede a incidir varias afectaciones, en lo cual intervienen dos definiciones muy importantes la sensibilidad y la especificidad. En la prctica clnica tiene un impacto mayor en situaciones enmarcadas estas son los falsos positivos o negativos en un resultado ya sean pruebas orientadas a detectar un estado fisiolgico, definir en una entidad o establecer un pronstico. En la presente investigacin se plante el objetivo de documentar y analizar la incidencia de los falsos negativos o positivos en los resultados dados por el laboratorista. Para ello, se realiz una bsqueda bibliogrfica de artculos publicados en los ltimos 5 aos, de los cuales se seleccionaron aquellos documentos que permitieron evidenciar las incidencias que ocurren en la sensibilidad, especificidad y los errores pre analticos en la gestin de calidad en un laboratorio. Segn en las bases estadsticas, al momento de realizar un anlisis clnico, la mayora de laboratorios, presentan situaciones con falsos positivos o negativos dado que muchas veces no toman en cuenta la especificidad y la sensibilidad que puede tener una prueba, as mismo pueden incidir los errores pre- analticos. Esto se puede demostrar con sueros de referencia utilizados para la validacin de un ensayo y corrigen los posibles errores pre analticos. Existen diferentes formas para la deteccin de los mrgenes de especificidad y sensibilidad al momento de realizar una validacin de un ensayo en un anlisis clnico, as mismo los mrgenes de errores que se pueden producir en los errores preanalticos en un laboratorio clnico, esto conllevando a realizar pruebas de tamizaje confiables para el paciente que permitir dar valores confiables en la salud.

Palabras clave: Sensibilidad; especificidad; laboratorios; tcnica de diagnstico; paciente; prevalencia.

 

Abstract

Introduction: During the different processes in the clinical diagnosis or laboratory tests it meets a series of characteristics, these reflect the expected information about a patient in which it is desired to know whether or not he suffers from a certain disease

 

Screening tests are the main tools against the prevention and individual diagnosis of pathologies in patients, by understanding a very important function, this type of prognosis can affect several effects, in which two very important definitions intervene sensitivity and specificity on which they will depend on the compression of these concepts. In clinical practice it has a greater impact on framed situations, these are false positives or negatives in a result, whether tests aimed at detecting a physiological state, defining an entity or establishing a prognosis. Objectives: To analyze the incidence of false negatives or positives in the results given by the laboratory.

Methods: For the elaboration of the research, the type of bibliographic study was carried out, in which reviews of articles in the last 5 years were highlighted, those documents that allowed the collection on the formal aspects of the inquiry were selected where the results specify that incidents occur; in sensitivity, specificity, and preanalytical errors in quality management in a laboratory. Results: According to the statistical basis at the time of performing a clinical analysis, most laboratories, present framed situations of these false positives or negatives without having in It takes into account the specificity and sensitivity that a test can have, and it can also affect pre-analytical errors, which can result in a clinical analysis. This can be demonstrated in the sera for the validation of an assay since there are predisposing values of references for guides before the use of a test as well as the possible preanalytical errors since they are real situations in the different work zones.

Conclusions: As can be specified in the results, there are different ways for the detection of specificity and sensitivity margins at the time of validating a trial in a clinical analysis, as well as the margins of errors that can occur in preanalytical errors. In a clinical laboratory, this leads to reliable screening tests for the patient that will give reliable health values.

Keywords: Sensitivity; specificity; laboratorios; diagnostic technique; patient; prevalence.

 

Resumo

Os diferentes processos de diagnstico clnico ou de exames laboratoriais renem uma srie de caractersticas, estas refletem a informao esperada sobre um paciente em que se deseja saber se ele sofre ou no de uma determinada doena. Os testes de rastreio so as principais ferramentas contra a preveno e o diagnstico individual de patologias nos doentes, pois compreendem uma funo muito importante, este tipo de prognstico pode afectar vrias afectaes, nas quais intervm duas definies muito importantes: sensibilidade e especificidade. Na prtica clnica, tem maior impacto em situaes enquadradas, sejam eles falsos positivos ou negativos em um resultado, sejam exames que visam detectar um estado fisiolgico, definir uma entidade ou estabelecer um prognstico. Na presente investigao, levantou-se o objetivo de documentar e analisar a incidncia de falsos negativos ou positivos nos resultados fornecidos pelo trabalhador de laboratrio. Para isso, foi realizada uma pesquisa bibliogrfica de artigos publicados nos ltimos 5 anos, a partir da qual foram selecionados aqueles documentos que permitiram evidenciar os incidentes que ocorrem na sensibilidade, especificidade e erros pr-analticos na gesto da qualidade em um laboratrio. De acordo com as bases estatsticas, ao realizar uma anlise clnica, a maioria dos laboratrios apresenta situaes de falsos positivos ou negativos, pois muitas vezes no levam em considerao a especificidade e sensibilidade que um teste pode ter, assim como os erros pr-analticos. Isso pode ser demonstrado com soros de referncia usados ​​para a validao de um ensaio e correo de possveis erros pr-analticos. Existem diferentes maneiras de detectar as margens de especificidade e sensibilidade no momento de validar um ensaio em uma anlise clnica, bem como as margens de erros que podem ocorrer em erros pr-analticos em um laboratrio clnico, o que leva a realizar Testes de triagem confiveis ​​para o paciente que permitiro dar valores confiveis ​​em sade.

Palavras-chave: Sensibilidade; especificidade; laboratrios; tcnica de diagnstico; paciente; prevalncia.

 

Introduccin

Durante los diferentes procesos en el diagnstico clnico o pruebas del laboratorio rene una serie de caractersticas, estas reflejan la informacin esperada acerca de un paciente en la cual se desea saber si padece o no de determinada enfermedad (1)

Las pruebas de tamizaje son las principales herramientas contra la prevencin y el diagnostico individual de patologas en los pacientes, sin embargo, en la prctica clnica tiene un impacto mayor en situaciones enmarcadas estas son los falsos positivos o negativos en un resultado ya sean pruebas orientadas a detectar un estado fisiolgico, definir en una entidad o establecer un pronstico (2)

Al comprender una funcin muy importante, este tipo de pronstico puede a incidir varias afectaciones, en el cual intervienen dos definiciones muy importantes la sensibilidad y la especificidad de la cual van a depender de la compresin de estos conceptos. Es importante tener en cuenta que el valor mximo de ambas es 1,0 o 100% y reconocer que ninguna de ella tiene el 100%, la sensibilidad es aquella que identifica si un individuo puede padecer la enfermedad, pero si esta posee una alta sensibilidad en negativa, en cambio la especificidad se refiere a la capacidad de la prueba para identificar si no padece la enfermedad, si esta pose una gran especificidad el resultado es positivo (3,4)

Es indispensable el resultado del laboratorio para que el mdico de un buen diagnstico pero sin embargo est a sido una dura tarea al pasar de los aos convirtindose as en una caracterstica crtica. Hay evidencia que comprueba que los resultados emitidos sean falso positivo o falso negativo son factor de riesgo para el paciente quien no padece o no se trata a tiempo. Por lo tanto, no hay duda de que el valor que tiene el laboratorio es incuestionable y cada da jugar un papel ms primordial (5,6)

En este sentido, la organizacin mundial de la salud (OMS), define tamizaje como el uso de una prueba sencilla en una poblacin saludable, para identificar a aquellos individuos que tienen alguna patologa, pero que todava no presentan sntomas. Por su parte el servicio de fuerzas preventivas de Estados Unidos (The U.S. Preventive Services Task Force), puntualiza que tamizaje son, aquellas acciones preventivas en las cuales una prueba o examen sistematizado es usado, para identificar a los pacientes que requieren una intervencin especial (7)

En el presenta manuscrito analizaremos relevancia sobre las incidencias, ya que dentro de la prctica clnica es importante comprender la importancia del clculo de sensibilidad y la especificidad que permitirn el diagnstico clnico en un sujeto como sano o enfermo de acuerdo con su real estado de salud.

 

Mtodos

Para la elaboracin de la investigacin se realiz el tipo de estudio bibliogrfico en el cual se destaca revisiones de artculos en los ltimos 5 aos indexadas a diferentes bases de datos como Scielo, Sciencedirect se seleccionaron aquellos documentos que permitieron la recoleccin sobre los aspectos formales de la indagacin en donde los resultados especifican que las incidencias ocurren; en la sensibilidad, especifidad, y los errores preanalticos en la gestin de calidad en un laboratorio.

En las fuentes de informacin seleccionadas se establecieron diferentes mtodos de recoleccin de informacin establecen que cuando existen varias hiptesis diagnsticas, se realizar el diagnstico diferencial y las pruebas complementarias tratarn de aclarar las dudas existentes. Si solamente hay una sospecha diagnstica, las pruebas complementarias tratarn de confirmarla. La realizacin simultnea de varias pruebas complementarias se denomina pruebas complementarias en paralelo y la realizacin de pruebas complementarias segn los resultados de otras previas, se denomina pruebas complementarias en serie. Al realizar pruebas en paralelo aumenta la probabilidad de diagnosticar a un enfermo, pero tambin aumenta la probabilidad de considerar como enfermo a un sano. El riesgo de la realizacin de pruebas en serie es no diagnosticar a algunos enfermos. En cambio, pocos sanos sern considerados como enfermos. (8)

Se elabora diferentes criterios para la validacin de las pruebas de tamizajes como: Variabilidad de la prueba diagnstica. Exactitud: Grado en que una prueba representa el valor verdadero del atributo que est sujeto a medicina. Precisin: Se diferencia de la anterior en el grado de detalle de la medicina. Validez: Grado en el cual una prueba mide lo que supone debe medir. Confiabilidad: Grado en el cual los resultados obtenidos en una medicina pueden ser replicados. Sesgo: error o desviacin sistema (9,10) Sensibilidad VP/ FN + VP. Especificidad VN / VN+FP (8)

 

Resultados

Segn en las bases estadsticas al momento de realizar un anlisis clnico, la mayora de laboratorios, presentas situaciones enmarcadas de estos falsos positivos o negativos sin tener en cuenta la especificidad y la sensibilidad que puede tener una prueba, asi mismo puede incidir los errores pre- analticos, que pueden resultar en un anlisis clnico. Esto se puede demostrar en los sueros para la validacin de un ensayo ya que existen valores predisponentes de referencias para guas ante la utilizacin de una prueba asi mismo como los posibles errores preanalticos ya que son situaciones reales en las diferentes zonas de trabajos.


Tabla 1: Frecuencia de errores preanaliticos

 

Grfico 1: Frecuencia de errores preanaliticos

 

 

 

 

 

 

 

Tabla 2: Sensibilidad o especialidad de diagnstico estimado

 

Grfica 2: Sensibilidad o especialidad de diagnstico estimado

 

 

 

Desarrollo

Laboratorio Clnico

Lugar de trabajo del laboratorista o tcnico donde se realizara un sin nmero de determinaciones con la ayuda de diferentes muestras biolgicas con el fin de proporcionar un diagnstico, seguimiento y control de algn padecimiento. El mismo que estar situado dentro de un centro de salud o de forma independizada, cumpliendo con las normas establecidas y manteniendo un acceso restringido a ciertas reas a personal no autorizado precautelando la vida de los mismos (11,12)

 

Es una herramienta de apoyo para el mdico y el paciente de mayor confiabilidad al momento de establecer un diagnstico o pronstico, por lo que es indispensable un resultado legtimo. Los cambios radican en descartar hbitos obsoletos o falta de actualizacin ya que los servicios de salud estn en constante evolucin donde se considera un proceso bien realizado y reportado (13,14)

 

Historia

El laboratorio clnico apareci hace muy poco tiempo surgiendo de la nada a fines del siglo XVIII hasta ahora en la actualidad con amplio desarrollo y evolucin en distintas ramas de las ciencias de la salud, conocida en sus inicios como una etapa de oro de la higiene y epidemiologia, ante su inigualable resultado pasaron muchos aos para que fuera considerada como parte de estudio en especialidad mdica siendo ahora una necesidad primordial para que el medico tome una decisin (15,16)

El control de calidad surgi en el siglo XX por la necesidad de vender y procesar, pero aun as no se empelo hasta la dcada de 1940 en donde se modificaron u otras se aumentaron conceptos todos relacionados al minimizar lo ms posible los errores. (17)

 

Control de calidad

Es nada ms que verificar que las actividades realizadas se realicen de forma correcta, ordenada, evaluada con respecto a la calidad para una mejora continua innovando y progresando con el sistema de calidad (18)

La calidad en un laboratorio consiste en mantener la precisin, confiabilidad y puntualidad de los resultados obtenidos pero tambin mantener las debidas precauciones al momento de manipular muestra, procesar segn indiqu la tcnica con el uso de estndar, controles que permitan comprobar la calidad de la prueba e incluir la calibracin de los instrumentos que se empleen. (19,17)

 

Sensibilidad y especifidad

Esta permite establecer si un paciente est sano o enfermo asociado con el resultado si este sale positivo o negativo considerado un estndar de oro, sabiendo que este puede ser errneo como falso positivo o negativo y verdadero positivo o negativo es por ello que se realiza el clculo de sus valores para validar nuestro resultado. (20,21)

Sensibilidad: corresponde a los pacientes enfermos que proporcionan un resultado positivo. Especifidad: corresponde a los pacientes sin ninguna enfermedad que proporcionan un resultado negativo como normal. (22,23)

Verdaderos positivos: corresponde a pacientes que padecen de la enfermedad por tal su resultado es positivo, Falsos positivos: corresponde a pacientes que no padecen de ninguna enfermedad pero sin embargo su resultado refleja que est enfermo, Verdaderos negativos: corresponde a pacientes que no padecen de ninguna enfermedad por tal motivo su resultado fleja que est sano, Falsos negativos: corresponde a pacientes que padecen de la enfermedad pero sin embargo su resultado refleja que est sano. (22,24)

 

Costos

En la actualidad es importante mantener una buena calidad y bajos costos para garantizar el xito de una organizacin, as mismo indicar que actividad es la que conlleva ms tiempo y reactivos en el laboratorio para tener los recursos necesarios en caso de que se terminen. Como tambin tener costos de referencia en caso de que se necesite repetir un examen por alguna duda o para verificar que el equipo este trabajando debidamente ya que realizando comprobaciones se hara un gasto ms de lo esperado, una de las deficiencias es que no se cuenta con un sistema de costos que permita garantizar un buen trabajo y que se logre optimizar los recursos financieros. (25,26)

 

Discusin

Desde que apareci el sistema de control de calidad, en el laboratorio sea empleado diferentes mtodos como la exactitud, sensibilidad, especificidad, en donde su uso sea convertido en una regla estndar de oro para dar un valor predilecto positivo o negativo as mismo tablas de contingencia que les permite saber el trayecto de especificidad y la presencia o ausencia de la misma.

La eficacia de los resultados a evolucionado y no solo en su sensibilidad y especificidad, sino que ahora con los diagnsticos posibles pueden emplearse, para valorar una prueba de tamizaje que ser utilizada en el mbito de la salud, es indispensable conocer los mtodos que utiliza dicha prueba para identificar correctamente a aquellos pacientes que requieren de una evaluacin posterior. Esto se logra conociendo la sensibilidad y especificidad de la prueba, as como los valores predictivos positivo y negativo respectivamente.

Los diferentes resultados obtenidos nos establecen que, para determinar la validez de una prueba, o sea, que esta tenga la habilidad de identificar correctamente a pacientes que tienen una enfermedad y a aquellos que no tiene la enfermedad, se utiliza la sensibilidad y la especificidad. Cuando una prueba de tamizaje tiene un alto nivel, es muy probable que identifique correctamente a aquellos pacientes que tienen la patologa o condicin buscada, resultando en un bajo porcentaje de resultados falsos negativos. De manera inversa, la especificidad se refiere a la capacidad que tiene la prueba de identificar a aquellos pacientes que no tienen cierta patologa o condicin buscada, por lo tanto, si una prueba de tamizaje es muy especfica, quiere decir que dicha prueba tendr un bajo porcentaje de falsos positivos.

 

Conclusin

Las pruebas de diagnstico en medicina se emplean para identificar a aquellos pacientes con una enfermedad y a aquellos que no la tienen. Existen dos tipos de pruebas que se utilizan en la prctica clnica diaria para diagnosticar enfermedades, unas son las evaluaciones completas, que como su nombre lo dice, tienen como objetivo hacer una investigacin exhaustiva del paciente, mediante la anamnesis, pruebas de gabinete y laboratorio, para establecer el correcto diagnstico. Se caracterizan principalmente por ser muy especficas,

Como se puede especificar en los resultados, existen diferentes formas para la deteccin de los mrgenes de especificidad y sensibilidad al momento de realizar una validacin de un ensayo en un anlisis clnico, as mismo los mrgenes de errores que pueden producir en los errores preanalticos en un laboratorio clnico, esto conllevando a realizar pruebas de tamizaje confiables para el paciente que permitir dar valores confiables en la salud.

 

El laboratorista est presionado constantemente con una cantidad recargada de pruebas que necesitan ser realizadas en un tiempo determinado pero sin embargo, este trata de cumplir con su labor por una parte, considerando que los estudios demuestran la existencia de muchos errores, los mismos que influyen en los resultados y al no ser verificado no podemos comprobar su validez debido tambin a los costos que esto genera.

Este artculo fue generado como requisito aprobatorio de la asignatura Redaccin Cientfica del sexto semestre de la Carrera de Laboratorio Clnico de la Facultad de Ciencias de la Salud. Universidad Estatal del Sur de Manab.

 

Referencias

1.      Salazar GJV. docs.bvasalud.org. [Online].; 30. Available from: http://docs.bvsalud.org/biblioref/2018/05/883697/importancia-calculo-sensibilidad-y- especifidad.pdf.

2.      Hernando Gaitn-Duarte MD,MJARRMD,M. Scielo.org.co. [Online].; 2009. Available from: http://www.scielo.org.co/pdf/rcog/v60n4/v60n4a08.pdf.

3.      Hato Sano. OPS. [Online].; S/A [cited 2007 2020 12. Available from: https://www.paho.org/hq/index.php?option=com_content&view=article&id=14402:health- indicators-conceptual-and-operational-considerations- section2&Itemid=0&showall =1&lang=es.

4.      Fleiss J. Statistical methods for rates and proportions. 1973.

5.      Marlo P, Gluseppe L. Improving diagnosis and reducing diagnostic. Clin Chem Lab Med. 2016;54(7): p. 1117-1118.

6.      Lippi G, Guidi G, Plebani M. One hundres years of laboratory testing and patient safety. Clin Chem Lab Med. 2007; 45(8).

7.      Pruebas de Tamizaje. [Online].; 2009 [cited 2020 Febrero 12. Available from: http://www.ahrq.gov.clinic/ajpmsuppl/harris1.htm.

8.      Pita Fernndez S. Pruebas diagnsticas. [Online].; 2003 [cited 2020 Febrero 12. Available from: http://fisterra.com/mbe/investiga/pruebas_diagnosticas/pruebas_diagnosticas2.pdf.

9.      Tarabla HD. [Online].; 2012 [cited 2020 Febrero 12. Available from: http://www.laboratoriollamas.com.ar/articulos/general/Pruebas%20diagnosticas_interpretac ion.pdf.

10.  Marchevsky N, Held J, Garca C. Probability of ntroducing diseases because of false negative test results. Soy J Epidemiol. 1989. Sep; 130(3): p. 611-614.

11.  James L, Bennigton MD. Saunders Dictionary & Encyclopedia of Laboratory Medicine and Technology. In Diccionario enciclopdico del laboratorio clnico. Madrid: Editorial Mdica Panamericana; 1991. p. 1535.

12.  Gonzlez de Buitrago JM. Laboratorio Clnico. In. Barcelona: Elsevier Masson; 2010. p. 560.

13.  Terrs A. Estimacin de la incertidumbre y de la variabilidad total en el laboratorio clnico. Revista Mexicana de Patologa Clnica. 2006 Octubre-Diciembre; 53(4): p. 185-196.

14.  Prez V. The Clinical Laboratory in the health care system. Semergen. 2011 Marzo; 37(3).

15.  Madrigal R. Laboratorio Clnico: Apuntes histricos. Rev. Med. Electrn. 2009; 31(3).

16.  Alfonso de Len AG. Utilizacin inadecuada de los avances cientficos tcnicos del laboratorio clnico y del mtodo clnico. Rev. Med. Electrn. 2013 Agosto; 35(4): p. 386-396.

17.  Organizacin Mundial de la Salud. WHO. [Online].; 2016 [cited 2020 03 27. Available from: https://apps.who.int/iris/bitstream/handle/10665/252631/9789243548272- spa.pdf;jsessionid=0C38E1F8B57230608B2866C3C33732CF?sequence=1.

18.  Franch K, Guerra M. as normas ISO 9000: una mirada desde la gestin del conocimiento, la informacin, innovacin y el aprendizaje organizacional. Confin Habana. 2016 Julio- Diciembre; 10(2): p. 29-54.

19.  Crosby PB. Quality without tears: the art of hassle-free management. Nueva York: McGraw- Hill; 1995.

20.  Fernndez P, Daz P. Pruebas diagnsticas. Investigacin: Pruebas Diagnosticas. Corua:, Atencin Primaria; 2003.

21.  Altman D, Bland J. Statistics Notes: Diagnostic tests. 1: Sensitivity and specificity. BMJ. 1994 Jun; 308(6943): p. 1552.

22.  Vizcano G. Importancia del clculo de la sensibilidad , la especifidad y otros parmetros estadsticos en el uso de las pruebas de diagnostico clnico y de laboratorio. Medicina & Laboratorio. 2017 Julio-Agosto; 23(7-8): p. 365-386.

23.  Vizcano G. Sensibilidad y Especifidad. Medicina basada en la evidencia y anlisis de diseos de investigacin. EDILUZ. 2002;: p. 57-71.

24.  Sierra-Arangi F. Sensibilidad y especifidad entendiendo su origen y utilidad real. Revista Col Gastroenterol. 2003; 18: p. 180-182.

25.  Portillo B, Yohanna V, Aponte F, Bertila J, Durn J. Costos de calidad en el servicio de un laboratorio clnico. Revista Tcnica de la Facultad de Ingeniera Universidad del Zulia. 2007 Noviembre; 30(Especial).

26.  Avila L, Hernndez P, Cruz A, Zurita B, Terres A, Cruz C. Anlisis de productividad, calidad y costos en laboratorios del primer nivel: la biometra hemtica. Revista de Sade Pblica. 1999 Abril; 33(2): p. 163-170.

 

 

 

 

 

 

 

 

 

 

 

2020 por los autores. Este artculo es de acceso abierto y distribuido segn los trminos y condiciones de la licencia Creative Commons Atribucin-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0) (https://creativecommons.org/licenses/by-nc-sa/4.0/).

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia
';





Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: polodelconocimientorevista@gmail.com / director@polodelconocimiento.com

URL: https://www.polodelconocimiento.com/