Spanish version below
When I was a child, I loved to make paper airplanes. Sometimes, these airplanes were very nice to look at, and I had a hard time making them, but when I launched them in the air, they would fall into a dive. It was very disappointing because the destiny of a paper airplane is to fly; the farther, the better.
Little by little, as I gained experience, I was designing airplanes that flew farther and farther.
Let's talk about the feasibility of a study, one of the most important concepts in research.
A clinical trial is like a paper airplane. There is a design phase in which we make decisions of great importance: the type of study, the primary endpoint, the sample size, and who our collaborators will be. We decide on the shape of the paper airplane and fold the paper carefully.
When our study is ready, we start recruiting patients: we launch the paper airplane into the air. If it stays in the air, everything we have designed works: patients are recruited, and everything works according to plan.
It can also happen that it plummets as soon as it is released: no patients are recruited. Or, after a short flight, it suddenly goes awry and crashes to the ground: after a promising start, everything slows down, and patients are recruited very slowly until the study is shut down.
Making a paper airplane is quick and easy. If it doesn't fly, we can make another one. However, designing a study, putting in a lot of effort and enthusiasm, and not working is frustrating.
These are the factors that most often, in my experience, influence the feasibility of a study.
Interaction of the main variable - sample size - number of centers - leadership
The choice of the primary endpoint is crucial, as it determines the sample size. As I wrote in the post "The one and only Unicorn Primary Endpoint":
From the research question emanates the Primary Endpoint, and from this, the whole study: how it will be done, its quality, how many patients you will need, the interest it will arouse in experts and potential readers, and it may even determine that it is impossible to finish it.
There are primary variables where it is easier to see significant differences, as is the case of C-reactive protein in acute pancreatitis. It is a quantitative variable; samples from 40 or 60 patients may be sufficient to detect differences. However, it is not a variable with significance per se; it is a surrogate variable of disease severity. It is a number in a blood test. The scientific community will not consider this variable as highly relevant.
On the contrary, we can choose a variable with importance per se, for example, mortality or organ failure. However, as these are infrequent events in the case of acute pancreatitis, we will need samples of thousands of patients.
There is an interaction between our ambition that the primary endpoint is relevant enough to change clinical practice, the sample size (the more clinically important the endpoint, the more patients we need) and the number of centers needed to make the study feasible. If there are several centers involved you need good leadership to make your collaborators work well.
I advise you to start your first studies with affordable variables: you can start with a single study addressing a surrogate variable in your center, then a simple multicenter study with an affordable endpoint, and progress to more complex studies with larger sample sizes, designed to change clinical practice. That will give you experience, you will know which collaborators are effective in recruitment and data entry, and they will know you, see that you work well, and know how you reward them. You will grow in your leadership to tackle more and more ambitious studies. If you want to learn more about how to progress on the clinical research journey, read this article: The voyage to Ithaca.
Overly restrictive exclusion criteria
I was recently approached to participate in a study. The exclusion criteria were so restrictive, there were no patients with those characteristics.
Inclusion and exclusion criteria define your patient sample.
If you have doubts about whether they are too restrictive, do a small retrospective study assessing how many patients would have been recruited in your hospital in a few months. If they are too few, change the design, or your small plane will quickly hit the ground.
Ability of the study to irritate collaborators
One of the most complex issues in a study is deciding which variables to include in the database. Many variables will give you the possibility of many studies and a great capacity for analysis. However, the more variables you include, the more painful it will be to cram the data in. I remember years ago participating in an observational study on pancreatitis. The database was so large and complex that I only recruited one patient. I always opt for databases that are very targeted to the study's primary objective. Keep it as simple as possible, don't irritate the collaborators, don't make it painful to enter data.
Ability of the study to irritate patients
This is the problem I have had the most lately: designing studies that are cumbersome for patients. I have a study on exocrine pancreatic insufficiency that requires a special diet and collecting stool samples for three days. This study is planned to be done at one month, three months, and six months after pancreatitis. Unfortunately, patients do it at most once but do not repeat it and are lost to follow-up. It was a mistake to design it that way, I didn't think about how annoying it is for them to participate. If I were to redesign it, I would do a single sampling; I would sacrifice having more data and the granularity of the study for having fewer but more patients.
Put yourself in the patient's shoes when designing the study and consider whether it is inconvenient for them, as a lot of loss to follow-up will drive the nose of your little plane into the ground.
In summary, when designing a study, consider its feasibility at all times. Choose your primary endpoint and sample size according to your leadership and experience, define your population so that it is homogeneous but not impossible to find, and consider analyzing how many patients with those criteria have been in your center in the last few months, make databases that are not cumbersome and impossible to fill in, and put yourself in your patient's shoes to weigh up whether it is an annoying study for them.
Little by little, you will develop a powerful instinct that allows you to predict how much your paper plane will fly.
No artificial intelligence programs have been used to write this blog.
Picture by Kenny Eliason
Viabilidad de un estudio: el avión de papel
Cuando era niño me encantaba hacer aviones de papel. A veces, estos aviones eran muy vistosos y me había costado mucho hacerlos, pero al lanzarlos por el aire caían en picado. Era muy decepcionante, porque el destino de un avioncito de papel es volar, cuanto más lejos mejor.
Poco a poco, conforme ganaba experiencia, iba diseñando aviones que volaban más lejos.
Hablemos de la viabilidad de un estudio, uno de los conceptos más importantes en investigación.
Un estudio clínico es como un avión de papel. Hay una fase de diseño en la que tomamos decisiones de gran importancia: el tipo de estudio, la variable principal, el tamaño muestral, y quienes serán nuestros colaboradores. Decidimos la forma que tendrá el avión de papel y plegamos el papel cuidadosamente.
Cuando tenemos listo nuestro estudio, empezamos a reclutar pacientes: lanzamos al aire el avioncito. Si se mantiene en el aire, todo lo que hemos diseñado funciona: se reclutan pacientes y todo funciona de acuerdo con el plan.
También puede pasar que caiga en picado nada más soltarlo: no se reclutan pacientes desde el principio. O que, tras un pequeño vuelo, se tuerza de repente y caiga contra el suelo: tras un inicio prometedor del estudio, se enlentece todo y los pacientes se reclutan muy poco a poco hasta que se apaga el estudio.
Hacer un avioncito de papel es fácil y rápido. Si no vuela, podemos hacer otro. Sin embargo, diseñar un estudio, poner gran esfuerzo e ilusión y que no funcione, es muy frustrante.
Estos son los factores que con más frecuencia en mi experiencia influyen en la viabilidad de un estudio.
Interacción variable principal- tamaño muestral- número de centros- liderazgo
La elección de la variable principal es crucial, ya que determina el tamaño muestral. Como escribí en el post "El Endpoint Primario Unicornio":
De la pregunta de investigación emana el Endpoint Primario, y de este, todo el estudio: cómo se hará, su calidad, cuántos pacientes necesitarás, el interés que despertará en los expertos y potenciales lectores e incluso puede determinar que sea imposible terminarlo.
Hay variables principales en las que ver diferencias significativas es más fácil, como es el caso de la proteína C reactiva en la pancreatitis aguda. Es una variable cuantitativa, muestras de 40 o 60 pacientes pueden ser suficientes para detectar diferencias. Sin embargo, no es una variable con importancia per se, es una variable subrogada de la gravedad de la enfermedad. Es un número en una analítica. La comunidad científica no considerará esta variable como altamente relevante.
Podemos, al contrario, elegir una variable con importancia per se, por ejemplo, mortalidad o fallo orgánico. Sin embargo, como son eventos infrecuentes en el caso de la pancreatitis aguda, necesitaremos muestras de miles de personas.
Hay una interacción entre nuestra ambición en que la variable principal sea lo suficientemente relevante para cambiar la práctica clínica, el tamaño muestral (cuanta más importancia clínica tenga la variable, más pacientes necesitaremos) y de este con el número de centros necesarios para que el estudio sea viable. Si hay varios centros implicados necesitas un buen liderazgo para que tus colaboradores funcionen bien.
Te aconsejo que empieces tus primeros estudios con variables asequibles: puedes empezar con un estudio solo en tu centro, luego un estudio multicéntrico sencillo con relativamente pocos pacientes, e ir progresando a estudios más complejos, con mayor tamaño muestral, diseñados para cambiar la práctica clínica. Eso hará que tengas experiencia, que conozcas qué colaboradores son eficaces en el reclutamiento e introducción de datos, y que ellos te conozcan y vean que trabajas bien y sabes recompensarles. Crecerás en tu liderazgo para abordar estudios cada vez más ambiciosos. Si quieres saber más sobre cómo progresar en el viaje de la investigación clínica, lee este artículo: The voyage to Ithaca.
Criterios de exclusión demasiado restrictivos
Hace poco me propusieron participar en un estudio. Los criterios de exclusión eran tan restrictivos, que no existían pacientes con esas características.
Los criterios de inclusión y exclusión definen a tu muestra de pacientes.
Si tienes dudas de si son demasiado restrictivos, haz un pequeño estudio retrospectivo valorando cuántos pacientes hubieran sido reclutados en tu hospital en unos meses. Si son muy pocos, cambia el diseño, o tu avioncito se estampará contra el suelo rápidamente.
Capacidad del estudio de irritar a los colaboradores
Uno de los temas más complejos en un estudio es decidir qué variables incluir en la base de datos. Muchas variables te darán la posibilidad de muchos estudios y una gran capacidad de análisis. Sin embargo, cuantas más variables incluyas, más doloroso será meter los datos. Recuerdo hace años que participé en un estudio observacional sobre pancreatitis. La base de datos era tan grande y compleja que solo recluté un paciente. Yo siempre me decanto por bases de datos muy dirigidas al objetivo primario del estudio. Que sean lo más sencillas posibles, que no irriten a los colaboradores, que no sea doloroso meter datos.
Capacidad del estudio de irritar a los pacientes.
Este es el problema que más he tenido últimamente. Diseñar estudios que son complejos para los pacientes. Tengo un estudio sobre insuficiencia pancreática exocrina que requiere una dieta especial, y recoger muestras de heces durante 3 días. Este estudio está planificado para hacerse al mes, tres meses y seis tras la pancreatitis. Desafortunadamente los pacientes como mucho lo hacen una vez, pero no repiten, y se pierden del seguimiento. Fue un error diseñarlo así, no pensé en la molesto que es para ellos participar. Si lo rediseñara, haría una única toma de muestras, sacrificaría tener más datos, la granularidad del estudio, por tener menos, pero de más pacientes.
Ponte en el lugar del paciente cuando diseñes el estudio y baraja si es molesto para ellos, ya que muchas pérdidas de seguimiento harán que el morro de tu avioncito se dirija contra el suelo.
En resumen, al diseñar un estudio, reflexiona en todo momento en su viabilidad. Elige tu variable principal y tamaño muestral en función de tu capacidad de liderazgo y experiencia, define a tu población para que sea homogénea pero no imposible de encontrar y valora realizar un análisis de cuántos pacientes ha habido con esos criterios en tu centro en los últimos meses, haz bases de datos que no sean farragosas e imposibles de rellenar, y ponte en la piel de tus pacientes para ponderar si es un estudio molesto para ellos.
Poco a poco, desarrollarás un instinto poderoso, que te permite predecir cuánto volará tu avioncito.
No se han usado programas de inteligencia artificial para escribir este blog
Fotografía por Kenny Eliason
En nuestro centro, hacemos investigación primaria, dentro de programa de formación médica y sus publicaciones son de gran ayuda. Saludos y gracias
Muy interesante. Muchas gracias.