Cuando son muchos datos, ¿cómo debo manejarlos, quizá en varias computadoras? Cómputo paralelo, "Big data"

Tengo muchos datos. No caben en un disco. O sí caben, pero su procesamiento es muy lento en una sola máquina. Según la cantidad de datos y la complejidad de su proceso, ¿Qué plataforma tecnológica [una sola máquina, varias máquinas sin conexión entre ellas, un arreglo de procesadores, el procesador de la unidad gráfica, una supercomputadora, cómputo en la nube,...] me conviene usar? ¿Cuándo debo usar la unidad gráfica o GPU, con CUDA? ¿Y Hadoop,  MapReduce o  Spark?  Estas transparencias ayudarán a hallar la respuesta. Pulse aquí.