10 methodological mistakes to avoid in research
10 errores metodológicos que hay que evitar en la investigación
Spanish version below
Error is a good teacher. When I first started researching, I experienced mistakes very badly. It was like a marker that I was not a good researcher. Little by little I understood that I had to learn from them, that each mistake makes you a little bit better.
These are 10 methodological errors that you should avoid, many of them I have suffered at some point in my career.
Don't conduct a study to answer a question whose answer is known or not relevant. We all want to publish. And if it's in a good journal, all the better. Sometimes, we ask ourselves a question and get excited because we devise a way to answer it. Occasionally we are blinded by the excitement of publishing. Look first if that question has an answer; what has already been published? Also reflect on whether that question is relevant. If not, we will make a considerable effort in a project that will not interest the Triad.
Don't bet on an impossible study. Quite often, we start projects that are impossible to do. It may be because you need many more patients than you can recruit with your collaborators, it may have too restrictive exclusion criteria, or a study that requires too much effort from your collaborators or your patients... If you are interested in this mistake, read my post Feasibility of a study: the paper airplane.
Don't spare effort in the design of your study: use a lot of energy and rely on an expert in methodology. Any initial effort in an excellent design is good. It is the skeleton, the framework on which all further effort rests, the pillars of the cathedral, the ribs of the roof. Design flaws cause the whole building to wobble or fall. Lean on a methodologist and review with him or her every concept and every line of the methodology, understanding it well. No matter how much you know about statistics, a methodologist helps to get it right.
Do not disregard the norms of your institution, your collaborating institutions, and your ethics committee. Ensure that your study complies with the ethical standards of research of your institution and your collaborator’s institutions, with the requirements of data handling with patients, with informed consent... Even if it is retrospective, you should always request the pertinent permissions. Do not delay, ask for them at the beginning or you may find yourself with the data collected, the abstract sent to a congress and missing important permissions.
Do not choose an irrelevant main variable. The main endpoint is the backbone of your study, the one that most adequately answers your research question. If you want to know whether aggressive fluid therapy is better than moderate fluid therapy in acute pancreatitis, select a variable that proves it. If that variable is irrelevant and does not answer your question, the whole study falls apart. If you are interested in what the primary endpoint of your study should be, read my post The one and only Unicorn Primary Endpoint.
Don't choose in open prospective studies a primary endpoint that depends on the subjective decisions or judgments of the collaborators. Imagine you are studying the effect of a drug on when we discharge our patients with acute pancreatitis. The decision to discharge the patient is up to the collaborators at each center. And they want the study to be a success. Even if they don't intend to, they will unconsciously discharge more quickly the patients who have received the study drug, and there will be differences but they will be spurious. Choose a variable in this context that is objective and does not depend on the decisions of the people who will benefit from the study being positive.
Do not make a weak sample size calculation. The sample size calculation is essential in a research project. It tells you how many subjects you need in order to answer the research question. As a reviewer of articles and grants, I pay a lot of attention to how researchers have calculated the sample size. Lean on a statistician; try to ensure all your studies have it, even the simplest ones.
Don't underestimate biases. I remember when we studied the effect of taking statins chronically on the incidence of post-ERCP pancreatitis. The effects were spectacular: if you took statins you had no pancreatitis. I studied the data well, looking for biases. And I found them: elderly patients have less post-ERCP pancreatitis and take more statins because of their age. When designing the study, think about biases, and include variables that correct them; when analyzing the data, understand them and look for alternative explanations so that illusion does not make you goof up.
Quickly detect the collaborators who are recruiting patients incorrectly. If a collaborator leaves too many variables of your study blank, if he/she is making a systematic error, if he/she is doing strange things, you have to fix it as soon as possible. Therefore, study the data that are entered periodically. Otherwise, at the end of the study you will have a set of missing or bad data that will prevent you from answering the research question.
Beware of missing values. Sometimes, we analyze data without looking at them. It is common to perform a multivariate analysis, and we do not notice the missing values that the program has discarded. I remember a study with more than 700 patients in which the program originally discarded more than 300 cases due to missing data in the different variables of the logistic regression model. If possible, retrieve the missing data; if not, talk to a methodologist to see the different options.
This post is dedicated to Lorenzo Fuccio, who will give a talk on this topic at the ESGE days. Lorenzo, a big hug from Alicante!
If you like the scientific and academic world, subscribe to my weekly blog by clicking on the blue button
I have not used artificial intelligence programs to write this blog
Picture by 傅甬 华
El mejor maestro es el error. Cuando empecé a investigar, vivía muy mal los errores. Era como un marcador de que no era un buen investigador. Poco a poco comprendí que había que aprender de ellos, que cada error te hace un poquito mejor.
Estos son 10 errores metodológicos que debes evitar, muchos de ellos los he sufrido en algún momento de mi carrera.
No hagas un estudio para responder a una pregunta cuya respuesta se conoce o no es relevante. Todos queremos publicar. Y si es en una buena revista, mejor. A veces nos hacemos una pregunta y nos emocionamos porque se nos ocurre la forma de contestarla. En ocasiones, nos ciega la ilusión por publicar. Mira primero si esa pregunta ya tiene respuesta, qué hay ya publicado. Y reflexiona sobre si esa pregunta es relevante. Si no, haremos un esfuerzo grande en un proyecto que no interesará a la Triada.
No apuestes por un estudio imposible de realizar. Con cierta frecuencia, empezamos proyectos que, simplemente, son imposibles de hacer. Puede deberse a que se necesitan muchos más pacientes de los que puedes reclutar junto a tus colaboradores, puede que tenga criterios de exclusión demasiado restrictivos, puede ser un estudio que requiere demasiado esfuerzo de tus colaboradores o de tus pacientes… Si te interesa este error, lee mi post Feasibility of a study: the paper airplane.
No ahorres esfuerzo en el diseño de tu estudio: usa mucha energía y apóyate en un experto en metodología. Todo esfuerzo inicial en un diseño excelente es bueno. Es el esqueleto, el armazón en el que todo esfuerzo posterior descansa, los pilares de la catedral, las nervaduras del techo. Fallos en el diseño hacen que el edificio entero se tambalee o se caiga. Apóyate en un metodólogo, y revisa con él cada concepto y cada línea de la metodología, entendiéndolo bien. Por mucho qu sepas de estadística, un metodólogo ayuda a que todo salga bien.
No desdeñes las normas de tu institución, a las instituciones colaboradoras y a tu comité ético. Que tu estudio cumpla con los estándares éticos de la investigación, de tu institución y la de tus colaboradores, con los requerimientos de manejo de datos con los pacientes, con el consentimiento informado… Incluso aunque sea retrospectivo, siempre hay que solicitar los permisos pertinentes. No los demores, pídelos al principio o puedes verte con los datos recogidos, el abstract mandado a un congreso y que falten permisos de gran importancia.
No elijas una variable principal irrelevante. La variable principal, main endpoint, es la columna vertebral de tu estudio, la que responde más adecuadamente a tu pregunta de investigación. Si quieres saber si la fluidoterapia agresiva es mejor que la moderada en pancreatitis aguda debes seleccionar una variable que lo demuestre. Si esa variable en realidad es irrelevante y no responde a la pregunta que te haces, todo el estudio se viene abajo. Si te interesa cómo debe ser la variable principal de tu estudio, lee mi post The one and only Unicorn Primary Endpoint.
No elijas en estudios prospectivos abiertos una variable principal que dependa de las decisiones o juicios subjetivos de los colaboradores. Imagina que estás estudiando el efecto de una medicina en cuándo damos de alta a nuestros pacientes con pancreatitis aguda y la comparamos con placebo. La decisión de dar el alta al paciente depende de los colaboradores de cada centro. Y ellos quieren que el estudio sea un éxito. Aunque no lo pretendan, de forma inconsciente, darán de forma más rápida el alta a los pacientes que han recibido la medicina a estudio, y habrán diferencias pero serán falsas. Elige una variable en este contexto que sea objetiva, que no depende de decisiones de las personas que se beneficiarán de que el estudio sea positivo.
No hagas un cálculo de tamaño muestral débil. El cálculo del tamaño muestral es esencial en un proyecto de investigación. Dice cuántos sujetos necesitas para poder responder a la pregunta de investigación. Como revisor de artículos y de becas, pongo mucha atención en ver cómo han ello los investigadores el tamaño muestral. Apóyate en un experto en estadística, intenta que todos tus estudios lo tengan, incluso los más sencillos.
No menosprecies a los sesgos. Recuerdo cuando estudiamos el efecto de tomar estatinas de forma crónica en la incidencia de pancreatitis post-CPRE. Los efectos eran espectaculares: si tomabas estatinas no tenías pancreatitis. Estudié bien los datos, buscando sesgos. Y los encontré: los pacientes ancianos tienen menos pancreatitis post-CPRE y toman más estatinas por su edad. Al diseñar el estudio piensa en sesgos, incluye variables que los corrijan, al analizar los datos entiéndelos, busca explicaciones alternativas, que la ilusión no te haga meter la pata.
Detecta rápidamente los colaboradores que están reclutando mal los pacientes. Si un colaborador deja demasiadas variables de tu estudio en blanco, si está cometiendo un error sistemático, si hace cosas raras, hay que solucionarlo lo antes posible. Por ello, estudia los datos que se introducen periódicamente. Si no, al acabar el estudio tendrás un conjunto de datos que faltan o están mal y te impidan responder a la pregunta de investigación.
Cuidado con los valores perdidos. Hay veces que analizamos los datos sin fijarnos en ellos. Es frecuente que se haga un análisis multivariante, y no nos demos cuenta de los valores perdidos que el programa ha descartado. Me acuerdo un estudio con más de 700 pacientes, que el programa descartó originalmente más de 300 casos por datos perdidos en las diferentes variables del modelo de regresión logística. Recupera los datos si es posible, y si no, habla con un metodólogo para ver las diferentes opciones.
Este post está dedicado a Lorenzo Fuccio, que dará una charla sobre este tema en los ESGE days. Lorenzo, un abrazo desde Alicante!
Si te gusta el mundo científico y académico suscríbete a mi blog semanal apretando al botón azul
No he utilizado programas de inteligencia artificial para escribir este blog
Fotografía de 傅甬 华
Se debería de incluir la continuidad en el puesto de trabajo o posibilidad de continuar el estudio garantizando puesto de trabajo y continuidad del nucleo familiar. Lo dice uno que hizo 4 proyectos de tesis que no pudo completar por motivos laborales y familiares......
Voy a fundarte un club de fans, que lo sepas.