15.3 Validação de Ensaios Microbiológicos
Esta análise tem por objetivo apresentar os resultados obtidos durante o estudo de validação, bem como aplicar a metodologia estatística apropriada e estabelecer as conclusões estatísticas dos dados obtidos na validação do método de Citometria de Fase Sólida aplicada ao Teste de Esterilidade do produto Cloreto de Sódio 0,9% Sol. Injetável em paralelo com o método Tradicional de filtração em membrana.
O método de Citometria de Fase Sólida, chamado de método Alternativo, é reconhecido e descrito pela Farmacopéia Européia 7ª edição. Este método utiliza filtração em mebrana para separar potenciais contaminantes microbianos de amostras filtráveis, marcando então as células capturadas. Um detector a laser é utilizado para escanear a superfície da membrana e o número de células marcadas é registrado. Os resultados do método alternativo são obtidos rapidamente, entre 3 e 9 horas após a preparação da amostra.
Como método farmacopéico tradicional e padrão foi considerado o método descrito na Farmacopéia Brasileira 5ª edição. Este método utiliza filtração em membrana em sistema convencional (copo de filtração), a utilização deste método exige a realização de controles de esterilidade e efetividade dos meios de cultura utilizados. Os resultados do método tradicional são obtidos em 14 dias após a preparação da amostra, pois é necessário um período de incubação de 14 dias.
A validação foi realizada conforme orientação do Plano PMV 052/13 e Protocolo PMV 052/13 PMA-MB-PR-001 e deve garantir, através de estudos experimentais, que o método avaliado (Alternativo) atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados (ANVISA).
Serão validados os seguintes parâmetros:
Equivalência: Avaliar a similaridade entre os métodos;
Limite de detecção: Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidas;
Repetibilidade: É o grau de concordância entre os resultados de medições sucessivas de um mesmo mensurando, efetuadas sob as mesmas condições de medição, chamadas de condições de repetibilidade;
Robustez: Consiste em medir a capacidade do método apresentar resultados similares quando submetido a pequenas alterações intencionais.
Para avaliar os parâmetros realizamos um experimento completamente aleatorizado com quatro níveis de contaminação (0,5 UFC/mL, 2 UFC/mL, 5 UFC/mL e 50 UFC/mL), dois métodos de detecção (Alternativo e Tradicional), oito microrganismos, três lotes de produto e sete repetições em cada combinação. Aqui, devemos considerar todos os microrganismos (apresentados abaixo) e lotes como um único conjunto de dados. Os microrganismos considerados são:
A. brasiliensis;
B. subtilis;
C. albicans;
C. sporogenes;
P. aeruginosa;
S. aureus;
M. luteus;
S. epidermides.
Neste caso temos oito microrganismos, três lotes de produto e sete repetições em cada combinação ($8 \ast 3 \ast 7=168$), o que resultou em um tamanho amostral de 168 testes para cada combinação (contaminação versus método).
Definições
Estéril ou Esterilidade: refere-se a uma amostra na qual não foi detectada a presença de microrganismos;
Positivo ou Positivação: refere-se a uma amostra na qual foi detectada a presença de microrganismos.
3.1 - Equivalência
Na análise da equivalência, temos como objetivo avaliar a similaridade entre os métodos Tradicional e Alternativo. Para isto, utilizamos a regressão logística, uma técnica amplamente aplicada na análise de dados binários. No caso deste estudo, temos como variável resposta a “positivação'' ou “esterilidade'' da amostra. Portanto, esta variável resposta assume apenas dois valores, fato que impossibilita a aplicação de métodos tradicionais de regressão. Por outro lado, temos como variáveis independentes, o Método (Tradicional/Alternativo) e a Contaminação (UFC/mL). Assim, aplicamos a regressão logística com uma variável independente contínua (Contaminação) e uma variável independente categórica (Método), com o interesse em testar as seguintes hipóteses:
$$ \begin{cases} H_0: \hbox{Os métodos são equivalentes} \cr H_1: \hbox{Os métodos não são equivalentes.} \end{cases}$$
Na tabela abaixo, apresentamos um resumo dos dados para os diferentes métodos e níveis de contaminação.
| Método | Contaminação | Tamanho da Amostra | Positivação | Proporção |
|---|---|---|---|---|
| Alternativo | 0,5 | 168 | 103 | 61,3% |
| Alternativo | 2 | 168 | 133 | 79,2% |
| Alternativo | 5 | 168 | 166 | 98,8% |
| Alternativo | 50 | 168 | 168 | 100% |
| Tradicional | 0,5 | 168 | 71 | 42,3% |
| Tradicional | 2 | 168 | 99 | 58,9% |
| Tradicional | 5 | 168 | 142 | 84,5% |
| Tradicional | 50 | 168 | 168 | 100% |
Tabela 15.2.1: Resumo dos resultados.
Temos uma amostra de 1344 observações independentes da terna $ (x_i,m_i,y_i),i=1,\dots,n, $ no qual
- $ x_i $: é o valor da variável explicativa (método, contaminação);
- $ m_i $: é a quantidade de replicatas (número de ensaios);
- $ y_i $: é o número de replicatas detectadas (positivações) com microrganismos em replicatas;
- n: é o total de combinações.
Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que:
$$P[Y_i=y_i]=\binom{m_i}{y_i}\pi_i^{y_i}(1-\pi_i)^{m_i-y_i}.$$
Para adequarmos a resposta média ao modelo linear usamos a função de ligação:
$$\pi_i=\pi(\hbox{Método}_i,\hbox{Contaminação}_i)=\frac{e^{\beta_0+\beta_1\hbox{Método}_i+\beta_2\hbox{Contaminação}_i}}{1+e^{\beta_0+\beta_1\hbox{Método}_i+\beta_2\hbox{Contaminação}_i}},,i=1,\ldots,n,$$
Que representa a probabilidade de positivação. Reescrevendo a equação obtemos:
$$g(X)=g(\hbox{Método}_i,\hbox{Contaminação}_i)=\ln\left(\frac{\pi_i}{1-\pi_i}\right)=\beta_0+\beta_1\hbox{Método}_i+\beta_2\hbox{Contaminação}_i. \tag{1}$$
em que:
$ g(\hbox{Método}_i,\hbox{Contaminação}_i) $ é a resposta (função de odds);
$ \hbox{Método}_i $ é a variável referente ao método (Tradicional: 1 ou Rápido: 0);
$ \hbox{Contaminação}_i $ é a variável referente à contaminação (medida em UFC);
$ \beta_0,\beta_1 $ e $ \beta_2 $ são os parâmetros do modelo.
Para estimarmos os parâmetros $ \beta_0,\beta_1 $ e $ \beta_2 $ utilizamos o método da máxima verossimilhança. De forma geral, o método de máxima verossimilhança nos fornece valores para os parâmetros desconhecidos que maximizam a probabilidade de se obter determinado conjunto de dados (probabilidade de positivação). Assumindo que $ (x_0,m_0,y_0 ), $$ \dots, $$ (x_n,m_n,y_n ), $ são independentes, a função de verossimilhança é dada por:
$$P\left[ Y_1=y_1,\ldots,y_n|\beta_0,\beta_1\right]=\prod_{i=1}^n\binom{m_i}{y_i}\pi_i^{y_i}(1-\pi_i)^{m_i-y_i}$$
Assim, aplicando o logaritmo ($ \ln $) em ambos os lados da expressão anterior e usando a equação (1) obtemos a função de verossimilhança da seguinte forma:
$$L~(\beta_0,\beta_1,\beta_2|(x_i;m_i;y_i))=\sum^n_{i=1} y_i ~\beta_0 + \beta_1 \hbox{Método}_i + \beta_2 \hbox{Contaminação}_i$$ $$- \sum^n_{i=1} m_i \ln(1+e^{\beta_0+\beta_1 \hbox{Método}_i + \beta_2 \hbox{Contaminação}_i})$$
Os estimadores de máxima verossimilhança para os parâmetros $ \beta_0,\beta_1 $ e $ \beta_2 $ são os valores $ \hat{\beta}_0,\hat{\beta}_1 $ e $ \hat{\beta}_2 $ que maximizam a função de verossimilhança.
Após estimarmos os coeficientes, temos interesse em assegurar a significância das variáveis no modelo. Isto geralmente envolve formulação e teste de uma hipótese estatística para determinar se a variável independente no modelo é significativamente relacionada com a variável resposta. Assim, afim de testarmos as hipóteses utilizamos o teste de Wald. O teste de Wald é obtido por comparação entre a estimativa de máxima verossimilhança do parâmetro ($ \hat{\beta}_j $) e a estimativa de seu erro padrão. A razão resultante, sob a hipótese $ H_0:\beta_j=0 $ tem distribuição normal padrão. Assim, vamos considerar a seguinte hipótese:
$$\begin{cases} H_0: \beta_j = 0 \cr H_1: \beta_j \neq 0 \end{cases} $$
A estatística do teste Wald para a regressão logística é
$$W_0=\frac{\hat{\beta}_0}{\widehat{DP}(\hat{\beta}_0)}=\frac{0,30837}{0,13992}=2,20384$$
$$W_1=\frac{\hat{\beta}_1}{\widehat{DP}(\hat{\beta}_1)}=\frac{0,53831}{0,05065}=10,6284$$
$$W_2=\frac{\hat{\beta}_2}{\widehat{DP}(\hat{\beta}_2)}=\frac{-1,02498}{0,15575}=-6,58086$$
O p-valor é definido como $ P(|Z|> |W_j|) $, sendo que Z denota a variável aleatória da distribuição normal padrão.
Para o intercepto
$ {p-valor}=P(|Z|> 2,20384) = 0,0275 $
Para a contaminação
$ {p-valor}=P(|Z|> 10,6284) = 0,000 $
Para o método
$ {p-valor}=P(|Z|> -6,58086) = 0,000 $
As estimativas dos parâmetros, respectivos desvios padrão e o teste de Wald para análise da significância dos parâmetros são apresentados abaixo.
(imagem em falta)
Tabela 5.4.1.2: Estimativa dos parâmetros.
Na regressão logística há três parâmetros. O parâmetro “Método Trad'', compara a capacidade de positivação do método tradicional com a capacidade de positivação do método alternativo (considerado baseline), para os quatro níveis de contaminação analisados. Como o p-valor associado a este parâmetro é desprezível, detectamos diferença significativa entre os métodos com relação à capacidade de positivação. Além disso, dado que o valor do parâmetro é negativo (-1,02), concluimos que o método alternativo tem uma capacidade de positivação maior que o método tradicional. O terceiro parâmetro “Contaminação'' refere-se ao impacto da contaminação na capacidade de positivação dos métodos. Obviamente que quanto maior a contaminação maior a capacidade de positivação de ambos os métodos (valor do parâmetro positivo de 0,54 com p-valor desprezível). O gráfico abaixo ilustra estes resultados, no qual a capacidade de positivação dos métodos pode ser comparada. Observamos que para níveis de contaminação baixos, o método alternativo apresenta índices de positivação muito melhores que o método tradicional, enquanto que para níveis altos de contaminação os índices de positivação são similares.
(imagem em falta)
Figura 5.4.1.1: Equivalência.
Em resumo, considerando todos os microrganismos, o método alternativo apresentou uma probabilidade de positivação significativamente maior que o método tradicional, principalmente em baixos níveis de contaminação. Desta forma, os métodos são considerados equivalentes.
3.2 - Limite de detecção
Na análise do limite de detecção, temos como objetivo determinar a menor quantidade de microrganismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidas. Para isto, utilizamos a regressão logística, uma técnica amplamente aplicada na análise de dados binários. No caso deste estudo, temos como variável resposta a “positivação'' ou “esterilidade'' da amostra. Portanto, esta variável resposta assume apenas dois valores, fato que impossibilita a aplicação de métodos tradicionais de regressão. Aqui, utilizamos um modelo de regressão logística para cada método, com variável independente o nível de contaminação (UFC/mL). Como temos interesse na relação entre o nível de contaminação (UFC/mL) e a probabilidade de positivação, optamos por estabelecer dois modelos (um para cada método).
Método Alternativo
Aqui, devemos considerar todos os microrganismos e lotes como um único conjunto de dados. Abaixo, apresentamos um resumo dos dados para os diferentes métodos e níveis de contaminação.
| Método | Contaminação | Tamanho da Amostra | Positivação | Proporção |
|---|---|---|---|---|
| Alternativo | 0,5 | 168 | 103 | 61,3% |
| Alternativo | 2 | 168 | 133 | 79,2% |
| Alternativo | 5 | 168 | 166 | 98,8% |
| Alternativo | 50 | 168 | 168 | 100% |
Tabela 5.4.2.1: Resumo dos resultados.
Temos uma amostra de 672 observações independentes da terna $ (x_i,m_i,y_i ),i=1,\dots,n, $ no qual
- $ x_i $: é o valor da variável explicativa (contaminação);
- $ m_i $: é a quantidade de replicatas (número de ensaios);
- $ y_i $: é o número de replicatas detectadas (positivações) com microrganismos em replicatas;
- n: é o total de combinações.
Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que:
$$P[Y_i=y_i]=\binom{m_i}{y_i}\pi_i^{y_i}(1-\pi_i)^{m_i-y_i}.$$
Para adequarmos a resposta média ao modelo linear usamos a função de ligação:
$$\pi_i=\pi(\hbox{Contaminação}_i)=\frac{e^{\beta_0+\beta_1\hbox{Contaminação}_i}}{1+e^{\beta_0+\beta_1\hbox{Contaminação}_i}},, i=1,\ldots,n,$$
Que representa a probabilidade de positivação. Reescrevendo a equação obtemos:
$$g(X)=g(\hbox{Contaminação}_i)=\ln \left(\frac{\pi_i}{1-\pi_i}\right)=\beta_0+\beta_1\hbox{Contaminação}_i.\quad\quad (1)$$
em que:
$ g(\hbox{Contaminação}_i) $ é a resposta (função de odds);
$ \hbox{Contaminação}_i $ é a variável referente à contaminação (medida em UFC);
$ \beta_0 $ e $ \beta_1 $ são os parâmetros do modelo.
Para estimarmos os parâmetros $ \beta_0 $ e $ \beta_1 $ utilizamos o método da máxima verossimilhança. De forma geral, o método de máxima verossimilhança nos fornece valores para os parâmetros desconhecidos que maximizam a probabilidade de se obter determinado conjunto de dados (probabilidade de positivação). Assumimos que $ (x_0,m_0,y_0 ), $$ \dots, $$ (x_n,m_n,y_n ), $ são independentes, assim, a função de verossimilhança é dada por:
$$P \left[ Y_1=y_1,\ldots,y_n|\beta_0,\beta_1\right]=\prod_{i=1}^n\binom{m_i}{y_i}\pi_i^{y_i}(1-\pi_i)^{m_i-y_i}$$
Assim, aplicando o logaritmo ($ \ln $) em ambos os lados da expressão anterior e usando a equação (1) obtemos a função de verossimilhança da seguinte forma:
$$L~(\beta_0,\beta_1,\beta_2|(x_i;m_i;y_i)=\sum^n_{i=1} y_i~\beta_0+\beta_1\hbox{Contaminação}_i.-\sum^n_{i=1}m_i,\ln(1+e^{\beta_0+\beta_1\hbox{Contaminação}_i})$$
Os estimadores de máxima verossimilhança para os parâmetros $ \beta_0 $ e $ \beta_1 $ são os valores $ \hat{\beta}_0 $ e $ \hat{\beta}_1 $ que maximizam a função de verossimilhança. Após obtermos as estimativas dos parâmetros do modelo podemos calcular as probabilidades ajustadas:
$$\hbox{Probabilidades Ajustadas}=\widehat{\pi}_i=\frac{e^{\widehat{g}(x_i)}}{1+e^{\widehat{g}(x_i)}},\quad\ i=1,\dots,n$$
em que
$$\hat{g}(X_i)=\hat{\beta}_0+\beta_1\hbox{Contaminação}_i\quad\hbox{(Estimador Logito)}$$
Após estimarmos os coeficientes, temos interesse em assegurar a significância das variáveis no modelo. Isto geralmente envolve formulação e teste de uma hipótese estatística para determinar se a variável independente no modelo é significativamente relacionada com a variável resposta. Assim, afim de testarmos as hipóteses utilizamos o teste de Wald. O teste de Wald é obtido por comparação entre a estimativa de máxima verossimilhança do parâmetro ($ \hat{\beta}_j $) e a estimativa de seu erro padrão. A razão resultante, sob a hipótese $H_0:\beta_j=0 $ tem distribuição normal padrão. Assim, vamos considerar a seguinte hipótese:
$$\begin{cases} H_0: \beta_j = 0 \cr H_1: \beta_j \neq 0 \end{cases} $$
A estatística do teste Wald para a regressão logística é
$$W_0=\frac{\hat{\beta}_0}{\widehat{DP}(\hat{\beta}_0)}=\frac{-0,00248}{0,18215}=-0,01362$$
$$W_1=\frac{\hat{\beta}_1}{\widehat{DP}(\hat{\beta}_1)}=\frac{0,76258}{0,10738}=7,10181$$
O p-valor é definido como $ P(|Z|> |W_j|) $, sendo que Z denota a variável aleatória da distribuição normal padrão.
Para o intercepto
$ {p-valor}=P(|Z|> -0,01362) = 0,989 $
Para a contaminação
$ {p-valor}=P(|Z|> 7,10181) = 0,000 $
As estimativas dos parâmetros, respectivos desvios padrão e o teste de Wald para análise da significância dos parâmetros são apresentados abaixo.
(imagem em falta)
Tabela 5.4.2.2: Estimativa dos parâmetros.
A partir do modelo da regressão logística estimado para os dados, obtemos estimativas para a probabilidade de positivação em diferentes níveis de contaminação. Os resultados estão apresentados na Tabela 5.4.2.3. Com isso, definimos o limite de detecção como o nível de contaminação para o qual a probabilidade de positivação estimada esteja em 95 %.
A seguir, calculamos o limite de detecção para o método Alternativo.
O procedimento para detectar a contaminação do limite de detecção é realizada à partir dos seguintes passos. À partir das estimativas dos parâmetros do modelos obtemos a equação (1) . O próximo passo é inverter essa equação e com isso obtemos:
$ \hbox{Limite de Detecção}=\dfrac{1}{\widehat{\beta}_1}\left[\ln \left(\frac {\pi_i} {1 - \pi_i}\right)-\widehat{\beta}_0\right]=\dfrac{1}{0,76}\left[\ln \left(\frac{0,95}{1 - 0,95}\right)-(-0,002)\right]=3,87~\hbox{UFC/mL} $
(imagem em falta)
Tabela 5.4.2.3: Probabilidade de positivação do método Alternativo.
(imagem em falta)
Figura 5.4.2.1: Limite de detecção do método Alternativo.
A seguir, medimos a qualidade do ajuste do modelo, para isto, usamos o teste de Pearson. Dos resultados obtidos, temos que o modelo está bem ajustado (p-valor$ = $0,36) ao nível de significância de 5%.
(imagem em falta)
Tabela 5.4.2.4: Qualidade do ajuste do modelo (Teste de Pearson).
Também medimos a qualidade do ajuste por meio do teste de Deviance. Dos resultados obtidos, tem-se que o modelo está bem ajustado (p-valor$ = $0,34) ao nível de significância de 5%.
(imagem em falta)
Tabela 5.4.2.5: Qualidade do ajuste do modelo (Teste de Deviance).
Tradicional
Abaixo apresentamos um resumo dos dados para os diferentes métodos e níveis de contaminação.
| Método | Contaminação | Tamanho da Amostra | Positivação | Proporção |
|---|---|---|---|---|
| Tradicional | 0,5 | 168 | 71 | 42,3% |
| Tradicional | 2 | 168 | 99 | 58,9% |
| Tradicional | 5 | 168 | 142 | 84,5% |
| Tradicional | 50 | 168 | 168 | 100% |
Tabela 5.4.2.6: Resumo dos resultados.
Análogo aos procedimentos realizados para o método alternativo estimamos os parâmetros associados ao modelo de regressão binária com função de ligação logística a partir do método da máxima verossimilhança. As estimativas dos parâmetros, respectivos desvios padrão e o teste de Wald para análise da significância dos parâmetros são apresentados abaixo.
(imagem em falta)
Tabela 5.4.2.7: Estimativa dos parâmetros.
A partir do modelo da regressão logística estimado para os dados, obtemos estimativas para a probabilidade de positivação em diferentes níveis de contaminação. Os resultados estão apresentados na Tabela 5.4.2.8. Com isso, definimos o limite de detecção como o nível de contaminação para o qual a probabilidade de positivação estimada esteja em 95 %.
A seguir, vamos calcular o limite de detecção para o método Tradicional.
O procedimento para detectar a contaminação do limite de detecção é análogo ao anterior.
$ \hbox{Limite de Detecção}amp;=amp;\dfrac{1}{\widehat{\beta}_1}\left[\ln \left(\frac {\pi_i} {1 - \pi_i}\right)-\widehat{\beta}_0\right]=\dfrac{1}{0,45}\left[\ln \left(\frac{0,95}{1 - 0,95}\right)-(-0,53)\right]=7,79~\hbox{UFC/mL} $
(imagem em falta)
Tabela 5.4.2.8: Probabilidade de positivação do método Tradicional.
(imagem em falta)
Figura 5.4.2.2: Limite de detecção do método Tradicional.
A seguir, medimos a qualidade do ajuste do modelo, para isto, usamos o teste de Pearson. Dos resultados obtidos, temos que o modelo está bem ajustado (p-valor$ = $0,99) ao nível de significância de 5%.
(imagem em falta)
Tabela 5.4.2.9: Qualidade do ajuste do modelo (Teste de Pearson).
Também medimos a qualidade do ajuste por meio do teste de Deviance. Dos resultados obtidos, tem-se que o modelo está bem ajustado (p-valor$ = $0,99) ao nível de significância de 5%.
(imagem em falta)
Tabela 5.4.2.10: Qualidade do ajuste do modelo (Teste de Deviance).
3.3 - Repetibilidade
Para avaliar a repetibilidade, comparamos os métodos Alternativo e Tradicional através do teste qui-quadrado de homogeneidade, uma técnica amplamente utilizada na estatística para tratar dados categorizados disposto em uma tabela cruzada. No caso deste estudo, temos como variável resposta a “positivação'' ou “esterilidade'' da amostra e duas populações correspondentes aos métodos de ensaio (Alternativo e Tradicional).
Nas tabelas 5.4.3.1 e 5.4.3.2, apresentamos um resumo dos dados para os diferentes métodos, dispostos em uma tabela cruzada.
(imagem em falta)
Tabela 5.4.3.1: Tabela cruzada dos dados.
(imagem em falta)
Tabela 5.4.3.2: Proporções dos dados.
Para obter a estátistica do teste qui-quadrado de homogeneidade, é preciso calcular antes as frequências esperadas e os valores observados.
Agora calculamos as frequências esperadas
$$E_{ij}=n~\dfrac{n_{i.}}{n}~\dfrac{n_{.j}}{n}=\dfrac{n_{i.}~n_{.j}}{n}~~~\begin{array}{c}i=1,2 \cr j=1,2 \end{array} $$
$$E_{11}=\cfrac{672*294}{1344}=147$$
$$E_{12}=\cfrac{672*1050}{1344}=525$$
$$E_{21}=\cfrac{672*294}{1344}=147$$
$$E_{22}=\cfrac{672*1050}{1344}=525$$
Montamos uma tabela das frequências esperadas:
| Estéril | Positivo | |
|---|---|---|
| Alternativo | 147 | 525 |
| Tradicional | 147 | 525 |
Tabela 5.4.3.3: Frequências Esperadas.
Agora calculamos os valores padronizados com Correção de Yates:
$$Q^2_{ij}=\dfrac{\left(|O_{ij}-E_{ij}|-\frac{1}{2} \right)^2}{E_{ij}} \begin{array}{c} i=1,2 \cr j=1,2 \end{array} $$
$$Q^2_{11}=\cfrac{(|102-147|-\cfrac{1}{2})^2}{147}=13,471$$
$$Q^2_{12}=\cfrac{(|570-525|-\cfrac{1}{2})^2}{525}=3,771$$
$$Q^2_{21}=\cfrac{(|192-147|-\cfrac{1}{2})^2}{147}=13,471$$
$$Q^2_{22}=\cfrac{(|480-525|-\cfrac{1}{2})^2}{525}=3,771 $$
| Estéril | Positivo | |
|---|---|---|
| Alternativo | 13,471 | 3,771 |
| Tradicional | 13,471 | 3,771 |
Tabela 5.4.3.4: Valores de $ Q^2 $ no ponto $ (i,j) $.
Com isso,
$ Q^2_{obs}=\sum^r_{i=1}\sum^c_{j=1}\cfrac{(|O_{ij}-E_{ij}|-\cfrac{1}{2})^2}{E_{ij}}=13,471+3,771+13,471+3,771= 34,486 $
$ {p-valor}=P[34,486>\chi^2_{(2-1)(2-1)}|H_0]=4,29E^{-09}) $
A seguir, apresentamos os resultados do teste qui-quadrado de homogeneidade obtidos utilizando o Action. Inicialmente, apresentamos o valor da estatística qui-quadrado, os graus de liberdade e o valor descritivo do teste (P-valor). Observamos que o P-valor é desprezível $ (4,29 \times 10^{-09}) $, com isso detectamos diferença significativa entre os dois métodos ao nível de significância de 5%.
(imagem em falta)
Tabela 5.4.3.5: Resultados teste qui-quadrado.
3.4 - Robustez
A robustez do método Alternativo foi avaliada em relação a dois fatores críticos:
- Tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo;
- Volume da solução de pré-marcação.
Para os experimentos de robustez, utilizamos o nível de contaminação determinado pelo estudo do limite de detecção com os micro-organismos padrão, que é de 2 UFC/mL.
Neste estudo, avaliamos a influência dos fatores (Tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo e Volume da solução de pré-marcação) no resultado do método Alternativo, para tal, utilizamos um teste qui-quadrado de homogeneidade dos fatores.
Tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo
Para avaliar o impacto no tempo da 1ª incubação utilizamos quatro micro-organismos (S. aureus, P. aeruginosa, B.subtilis e A. brasilienses) e um lote de produto e sete replicatas cada.
(imagem em falta)
Tabela 5.4.4.1: Resultados robustez para o tempo de espera.
(imagem em falta)
Tabela 5.4.4.2: Proporção dos resultados robustez para o tempo de espera.
Para obter a estátistica do teste qui-quadrado de homogeneidade, é preciso calcular antes as frequências esperadas e os valores observados.
Agora calculamos as frequências esperadas
$$E_{ij}=n~\dfrac{n_{i.}}{n}~\dfrac{n_{.j}}{n}=\dfrac{n_{i.}~n_{.j}}{n}~~~\begin{array}{c} i=1,2 \cr j=1,2,3 \end{array} $$
$$E_{11}=\cfrac{28*35}{84}=11,66$$
$$E_{12}=\cfrac{28*35}{84}=11,66$$
$$E_{13}=\cfrac{28*35}{84}=11,66$$
$$E_{21}=\cfrac{28*49}{84}=16,33$$
$$E_{22}=\cfrac{28*49}{84}=16,33$$
$$E_{23}=\cfrac{28*49}{84}=16,33$$
Montamos uma tabela das frequências esperadas
| Estéril | Positivo | |
|---|---|---|
| 5 | 11,66 | 16,33 |
| 7 | 11,66 | 16,33 |
| 20 | 11,66 | 16,33 |
Tabela 5.4.4.3: Frequências Esperadas.
Agora calculamos os valores padronizados
$$Q^2_{ij}=\dfrac{(O_{ij}-E_{ij})^2}{E_{ij}}~~~\begin{array}{c}i=1,2 \cr j=1,2,3 \end{array} $$
$$Q^2_{11}=\cfrac{(11,66-5)^2}{11,66}=3,809$$
$$Q^2_{12}=\cfrac{(11,66-10)^2}{11,66}=0,238$$
$$Q^2_{13}=\cfrac{(11,66-20)^2}{11,66}=5,952$$
$$Q^2_{21}=\cfrac{(16,33-23)^2}{16,33}=2,721$$
$$Q^2_{22}=\cfrac{(16,33-18)^2}{16,33}=0,170$$
$$Q^2_{23}=\cfrac{(16,33-8)^2}{16,33}=4,251$$
| Estéril | Positivo | |
|---|---|---|
| 5 | 3,809 | 2,721 |
| 7 | 0,238 | 0,170 |
| 20 | 5,952 | 4,251 |
Tabela 5.4.4.4: Valores de $ Q^2 $ no ponto $ (i,j) $.
Com isso,
$ Q^2_{obs}=\sum^r_{i=1}\sum^c_{j=1}\cfrac{(O_{ij}-E_{ij})^2}{E_{ij}}=3,809+0,238+5,952+2,721+0,170+4,251=17,142 $
$${p-valor}=P[17,142> \chi^2_{(3-1)(2-1)}|H_0]=0,00018$$
A seguir, apresentamos os resultados do teste qui-quadrado de homogeneidade obtidos utilizando o Action. Inicialmente, apresentamos o valor da estatística qui-quadrado, os graus de liberdade e o valor descritivo do teste (P-valor).
(imagem em falta)
Tabela 5.4.4.5: Resultados teste do qui-quadrado para variação no tempo de espera.
Como o P-valor é baixo ($ 0,00018 $, ver Tabela 5.4.4.5), detectamos diferença significativa entre os tempos de espera ao nível de significância de $ 5%. $
Volume da solução de pré-marcação
Para avaliar o impacto no volume da solução de pré-marcação, utilizamos quatro micro-organismos (S. aureus, P. aeruginosa, B.subtilis e A. brasilienses) e um lote de produto e sete replicatas cada.
(imagem em falta)
Tabela 5.4.4.7: Resultados robustez para o volume da solução de pré-marcação.
(imagem em falta)
Tabela 5.4.4.8: Proporção dos resultados robustez para o volume da solução de pré-marcação.
Para obter a estátistica do teste qui-quadrado de homogeneidade, é preciso calcular antes as frequências esperadas e os valores observados.
Agora calculamos as frequências esperadas
$$E_{ij}=n~\cfrac{n_{i.}}{n}~\cfrac{n_{.j}}{n}=\cfrac{n_{i.}~n_{.j}}{n}~~~\begin{array}{c}i=1,2 \cr j=1,2,3 \end{array} $$
$$E_{11}=\cfrac{28*15}{84}=5$$
$$E_{12}=\cfrac{28*15}{84}=5$$
$$E_{13}=\cfrac{28*15}{84}=5$$
$$E_{21}=\cfrac{28*69}{84}=23$$
$$E_{22}=\cfrac{28*69}{84}=23$$
$$E_{23}=\cfrac{28*69}{84}=23$$
Montamos uma tabela das frequências esperadas
| Estéril | Positivo | |
|---|---|---|
| 530 | 5 | 23 |
| 550 | 5 | 23 |
| 570 | 5 | 23 |
Tabela 5.4.4.9: Frequências Esperadas.
Agora calculamos os valores padronizados
$$Q^2_{ij}=\cfrac{(O_{ij}-E_{ij})^2}{E_{ij}}~~~\begin{array}{c}i=1,2 \cr j=1,2,3\end{array} $$
$$Q^2_{11}=\cfrac{(5-4)^2}{5}=0,2$$
$$Q^2_{12}=\cfrac{(5-5)^2}{5}=0$$
$$Q^2_{13}=\cfrac{(5-6)^2}{5}=0,2$$
$$Q^2_{21}=\cfrac{(23-24)^2}{23}=0,043$$
$$Q^2_{22}=\cfrac{(23-23)^2}{23}=0$$
$$Q^2_{23}=\cfrac{(23-8)^2}{22}=0,043$$
| Estéril | Positivo | |
|---|---|---|
| 530 | 0,2 | 0,043 |
| 550 | 0 | 0 |
| 570 | 0,2 | 0,043 |
Tabela 5.4.4.10: Valores de $ Q^2 $ no ponto $ (i,j) $.
Com isso,
$ Q^2_{obs}=\sum^r_{i=1}\sum^c_{j=1}\cfrac{(O_{ij}-E_{ij})^2}{E_{ij}}=0,2+0+0,2+0,043+0+0,043=0,487 $
$${p-valor}=P[0,487> \chi^2_{(3-1)(2-1)}|H_0]=0,783$$
A seguir, apresentamos os resultados do teste qui-quadrado de homogeneidade. Inicialmente, apresentamos o valor da estatística qui-quadrado, os graus de liberdade e o valor descritivo do teste (P-valor).
(imagem em falta)
Tabela 5.4.4.11: Resultados teste do qui-quadrado para variação no Volume da solução de pré-marcação.
Como o P-valor é alto ($ 78\char37 $, ver Tabela 5.4.4.11), não detectamos diferença significativa entre os volumes da solução de pré-marcação ao nível de significância de $ 5\char37 $, o que significa que o método é robusto em relação ao volume da solução (530, 550 e 570).
3.4.1 - Robustez via Regressão Logística
Tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo
Como detectamos diferença significativa através do teste qui-quadrado de homogeneidade, fizemos um estudo mais detalhado para comparar os níveis relativos ao tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo. Para isto utilizamos a regressão logística com variável resposta binária (Positivo ou Estéril) e variável independente categórica dada pelo tempo de espera da leitura da membrana pelo equipamento ChenScan RDI após o preparo (5, 7 e 20 minutos).
(imagem em falta)
Tabela 5.4.4.1.1: Estimativa dos parâmetros.
A partir dos resultados da tabela 5.4.4.6 , concluimos que não existe diferença significativa entre os tempos de 5 e 7 minutos, mas existe diferença significativa entre os tempos de 5 e 20 minutos. Portanto o método é considerado robusto para o tempo de espero na faixa de 5 a 7 minutos.
3.5 - Teste de não inferioridade
Os testes de não inferioridade são testes de hipóteses nos quais as hipóteses nula e alternativa são organizadas para testar se um procedimento é quase tão bom (ou não muito pior) do que o procedimento referência (ou compendial). Neste caso, tem-se interesse em mostrar que uma nova metodologia (mais rápida e barata) é quase tão “boa” quanto a metodologia compendial.
Esta seção está baseada na norma United States Pharmacopeia, em que define a hipótese de não-inferioridade como a proporção de resultados positivos para o procedimento alternativo $ (P_A) $ menos a proporção de resultados positivos para o procedimento tradicional $ (P_C) $, em relação a uma margem de tolerância de não inferioridade $ \Delta ~(>0) $. A hipótese de não inferioridade é dada por:
$$H_0 : P_A - P_C \leq - \Delta \quad \hbox{e} \quad H_1: P_A - P_C > - \Delta$$
Assim, conclui-se em favor da não inferioridade se rejeita-se a hipótese $ H_0 $. Conforme sugerido pela USP, utiliza-se $ \Delta = 0,2 $. A Tabela 3.5.1 apresenta a descrição dos parâmetros utilizados para o cálculo do teste de não inferioridade, segundo a United States Pharmacopeia.
Descrição dos Parâmetros (USP 38):
| $ N_A $ | Tamanho da Amostra do Método Alternativo |
|---|---|
| $ N_C $ | Tamanho da Amostra do Método Tradicional |
| $ X_A $ | Amostra Alternativa |
| $ X_C $ | Amostra Tradicional |
| $ P_A $ | Proporção para o Método Alternativo |
| $ P_C $ | Proporção para o Método Tradicional |
| $ \hat{P_A} $ | $ \cfrac{X_A}{N_A} $ |
| $ \hat{P_C} $ | $ \cfrac{X_C}{N_C} $ |
| $ \theta $ | $ \cfrac{N_C}{N_A} = 1 $ |
| $ R $ | $ \cfrac{P_C - \Delta}{P_C} $ |
| $ a $ | $ 1 + \theta = 2 $ |
| $ b $ | $ -\left[ R (1 + \theta \hat{P_C}) + \theta + \hat{P_A}\right] $ |
| $ c $ | $ R (\hat{P_A} + \theta \hat{P_C}) $ |
| $ \tilde{P_A} $ | $ \cfrac{ \left[- b - \sqrt{b^2 - 4 a c} \right]}{2a} $ |
| $ \tilde{P_C} $ | $ \cfrac{\tilde{P_A}}{R} $ |
| $ V $ | $ \cfrac{\tilde{P_A} (1 - \tilde{P_A})}{N_a} + (R)^2\cfrac{\tilde{P_C}(1 - \tilde{P_C})}{N_C} $ |
| $ Z $ | $ \cfrac{(\hat{P_A} - R \hat{P_C})}{\sqrt{V}} $ |
Tabela 3.5.1: Descrição dos parâmetros.
B. subtilis
Para cada microrganismo padrão, avaliou-se o parâmetro de não inferioridade através do seguinte experimento:
- Em amostras preparadas em um nível de contaminação intermediário (2 UFC), no qual o procedimento tradicional positiva em torno de $ 50 \char37 $ a $ 75 \char37 $, analisou-se $ 75 $ amostras de cada microorganismo. Este tamanho de amostra $ (75) $ foi determinado de tal forma que o teste de não inferioridade apresente aproximadamente $ 80 \char37 $ de poder.
A seguir, apresenta-se os resultados para cada microrganismo, sendo que os parâmetros utilizados para os cálculos são apresentados na tabela 3.5.1.
Norma United States Pharmacopeia (USP 38):
Amostra:
| $ N $ | 75 |
|---|---|
| $ X_A $ | 74 |
| $ X_C $ | 37 |
Proporções Estimadas:
| $ \hat{P_A} $ | 0,9867 |
|---|---|
| $ \hat{P_C} $ | 0,4933 |
Proporções:
| $ P_A $ | 0,5 |
|---|---|
| $ P_C $ | 0,7 |
Parâmetros do Teste
| $ \theta $ | 1 |
|---|---|
| $ a $ | 2 |
| $ R $ | 0,714285714 |
| $ b $ | -3,0533 |
| $ c $ | 1,05714 |
| $ \tilde{P_A} $ | 0,5307 |
| $ \tilde{P_C} $ | 0,74301 |
| $ V $ | 0,004619 |
| $ \sqrt{V} $ | 0,067968 |
| $ \hat{P_A} - R \hat{P_C} $ | 0,63428 |
| $ Z $ | 9,33209 |
Critério de Rejeição:
| $ \alpha $ | 0,05 |
|---|---|
| $ Z_{\alpha} $ | 1,64 |
| $ Z \geq Z_{\alpha} $ | Não Inferior |
Intervalo de confiança unilateral:
| $ P_A - P_C \geq ~ $ | 0,3962 |
|---|
Como $ Z\geq Z_{\alpha} $, conclui-se pela não inferioridade do procedimento alternativo em relação ao procedimento tradicional para o microrganismo B. subtilis.
A seguir, apresenta-se os resultados obtidos por meio do software Action.
(imagem em falta)
(imagem em falta)
(imagem em falta)
(imagem em falta)
(imagem em falta)
(imagem em falta)
(imagem em falta)