L'unica spiegazione plausibile potrebbe essere che la x dentro all'integrale l'abbia messa in modo ingannevole e cioè come una costante da portare fuori dall'integrale! ... infatti l'integrale viene eseguito nella variabile t e di solito tutta la funzione integranda la si esprime in t.
Dunque se le cose stavano cosi allora la x la puoi portare fuori dall'integrale e trattarla come una costante rispetto all'integrazione ma poi ovviamente nella derivata prima complessiva e quindi nella seconda va tenuta in conto.
Ecco i passaggi in quel caso:
\[\begin{array}{*{20}{l}}
{F(x) = \int_0^x {x\;sin({t^2})} \;dt = x\int_0^x {sin({t^2})\;} dt}\\
{F'(x) = \frac{d}{{dx}}\;[x\int_0^x {sin({t^2})\;} dt] = 1\;\int_0^x {sin({t^2})} \;dt + x\frac{d}{{dx}}\int_0^x {sin({t^2})} \;dt = }\\
{ = \int_0^x {sin({t^2})} \;dt + xsin({x^2})}\\
{F''(x) = \frac{d}{{dx}}[\int_0^x {sin({t^2})} \;dt + xsin({x^2})] = \frac{d}{{dx}}\int_0^x {sin({t^2})} \;dt + \frac{d}{{dx}}[xsin({x^2})] = }\\
\begin{array}{l}
= sen({x^2}) + [1sen({x^2}) + x\cos ({x^2})2x] = sen({x^2}) + sen({x^2}) + 2{x^2}\cos ({x^2}) = \\
= 2sen({x^2}) + 2{x^2}\cos ({x^2})
\end{array}
\end{array}\]
Mi sembra ovvio a questo punto che se all'esame il prof non ha evidenziato errori nel testo la soluzione sia quest'ultima!!
Sembra quindi che il tuo prof si diverta a darvi esercizi un pò "atipici" ricchi di trabocchetti!
[EDIT] Correzione errore!