“Este artículo fue publicado originalmente por EDUCAUSE Review el 27 de marzo de 2020. “Acceso al artículo original:The Difference Between Emergency Remote Teaching and Online Learning” https://er.educause.edu/articles/2020/3/the-difference-between-emergency-remote-teaching-and-online-learning Traducido por Raul Santiago con permiso de los autores: Charles HodgesStephanie MooreBarb LockeeTorrey Trust y Aaron Bond

Las experiencias de aprendizaje en línea bien planificadas son significativamente diferentes de los cursos ofrecidos en línea en respuesta a una crisis o desastre. Los colegios y universidades que trabajan para mantener la instrucción durante la pandemia de COVID-19 deben comprender esas diferencias al evaluar esta enseñanza remota de emergencia.

Debido a la amenaza de COVID-19, los centros educativos y universidades se enfrentan a la disyuntiva de cómo continuar impartiendo sus cursos, mientras mantienen a su personal y estudiantes a salvo de una emergencia de salud pública que se mueve rápidamente y que no acabamos de comprender bien. Muchas instituciones han optado por cancelar todas las clases presenciales, incluidas las prácticas en laboratorios y otras actividades de aprendizaje, y han requerido a los profesores que impartan sus cursos en línea para ayudar a prevenir la propagación del virus COVID-19. La lista de instituciones de educación superior que están tomando esta decisión crece cada día. Instituciones de todos los tamaños y tipos (institutos y universidades estatales, instituciones de la Ivy League, colegios comunitarios y otros) están impartiendo sus clases en línea(1). Bryan Alexander ha analizado el estado de cientos de instituciones (2)

Transitar hacia un modelo de instrucción en línea facilita la flexibilidad de enseñar y aprender en cualquier lugar y momento, pero la asombrosa velocidad con la que se espera que ocurra este cambio a la enseñanza en línea no tiene precedentes. Si bien generalmente existen equipos de apoyo para ayudar a los miembros de la facultad a aprender e implementar el aprendizaje en línea, estos normalmente apoyan solo a un pequeño grupo de profesores interesados ​​en enseñar en esta modalidad. En la situación actual, con tan poco tiempo de preparación, estos equipos no podrán ofrecer el nivel de apoyo habitual a todos los profesores. Las facultades podrían sentirse como MacGyvers instructivos, teniendo que improvisar soluciones rápidas en circunstancias menos que ideales. No importa cuán ingeniosas sean las posibles soluciones (de hecho, están surgiendo algunas soluciones muy ingeniosas), es comprensible que muchos docentes encuentren este proceso estresante.

La tentación de comparar el aprendizaje en línea con la instrucción presencial en estas circunstancias será muy grande. De hecho, un artículo en la Crónica de Educación Superior ya ha propuesto un “gran experimento” haciendo exactamente eso (3). Sin embargo, esta sugerencia puede ser altamente problemática. En primer lugar, se debe reconocer la política de cualquier debate de este tipo. “Aprendizaje en línea” se convertirá en un término politizado que pueda tener cualquier significado dependiendo del argumento que quien lo presente quiera defender. Al hablar sobre las lecciones aprendidas cuando las instituciones trasladaron las clases en línea durante un cierre en Sudáfrica, Laura Czerniewicz comienza con esta misma lección y lo que sucedió en torno a la construcción del “aprendizaje combinado” en ese momento (4). La idea del aprendizaje combinado aterrizó en las agendas políticas sin prestar suficiente atención al hecho de que las instituciones tomarían decisiones diferentes e invertirían de manera diferente, dando como resultado soluciones y resultados muy diferentes de una institución a otra. Esta experiencia nos sirve para enfatizar algunas distinciones que puedan guiar las evaluaciones a la ERDE al terminar la crisis. 

A pesar de que las investigaciones demuestren lo contrario,  es común el tópico de que el aprendizaje en línea es de menor calidad que el presencial. En un estado de emergencia como el que estamos viviendo, no es difícil que esta idea se refuerce, puesto que la urgencia por migrar al aprendizaje en línea causará, en muchos casos, que las propuestas que se hagan no maximicen su potencial ni posibilidades.

Los investigadores en tecnología educativa, y específicamente en la subdisciplina del aprendizaje en línea y a distancia, han definido detalladamente los términos a lo largo de los años para distinguir entre las distintas soluciones que se han desarrollado e implementado: aprendizaje a distancia, aprendizaje distribuido, aprendizaje combinado, aprendizaje en línea, aprendizaje móvil y otros. No obstante, más allá del entorno asilado de la tecnología educativa y el diseño pedagógico, no se han difundido suficientemente estas diferencias esenciales. En este artículo, queremos proponer un debate en torno a la terminología e introducir formalmente un término para la solución que se está ofreciendo en estas circunstancias excepcionales: Enseñanza Remota de Emergencia.

Muchos miembros activos de la comunidad académica, incluidos algunos de nosotros, hemos debatido en redes sociales acerca de la terminología que se debería adoptar. La “enseñanza remota de emergencia” ha surgido como un término alternativo utilizado por investigadores y profesionales de la educación en línea que contrasta claramente con lo que muchos de nosotros conocemos como educación en línea de alta calidad.

Algunos lectores podrían estar en desacuerdo con la elección del término “enseñanza” frente a opciones como “aprendizaje” o “instrucción”. Una de las razones para acuñar el concepto de “enseñanza” frente a los otros es que presenta definiciones más sencillas: “el acto, la práctica o la profesión de un maestro” (5) y “el intercambio concertado de conocimiento y experiencia” (6).  Por otro lado, se consideró que las primeras tareas realizadas al cambiar la metodología bajo estas circunstancias de emergencia las realizan maestros/instructores/profesores.

Educación en línea efectiva

La educación en línea, incluida la enseñanza y el aprendizaje en línea, se ha estado estudiando durante décadas. Numerosos estudios de investigación, teorías, modelos, estándares y criterios de evaluación se centran en el aprendizaje en línea de calidad, la enseñanza en línea y el diseño de cursos en línea. De acuerdo con las investigaciones realizadas, el aprendizaje en línea es efectivo con un diseño y planificación del programa detallados, todo ello en el marco de un modelo sistemático para el diseño y su desarrollo (7). El proceso de diseño y las decisiones que se tomen al respecto determinarán la calidad de la enseñanza. Y es este cuidadoso proceso de diseño del que carecerán muchos programas planteados en situaciones de emergencia.

El libro Learning Online: What Research Tells Us about Whether, When and How (8) ofrece uno de los resúmenes más completos sobre las investigaciones realizadas acerca del aprendizaje en línea. Los autores identifican nueve dimensiones, cada una de ellas con numerosas opciones, que exponen la complejidad del diseño y de la toma de decisiones. Las nueve dimensiones son: modalidad, ritmo, proporción estudiantes-profesor, pedagogía, rol del profesor en línea, rol del estudiante en línea, sincronía en la comunicación en línea, rol de las evaluaciones en línea y fuente de feedback (ver “Opciones de diseño de aprendizaje en línea”).

Fuente: Content adapted from Barbara Means, Marianne Bakia, and Robert Murphy, Learning Online: What Research Tells Us about Whether, When and How (New York: Routledge, 2014).

Cada una de estas dimensiones se desglosa en opciones con diferentes grados de efectividad. Por ejemplo, las decisiones sobre el tamaño de la clase limitarán en gran medida las estrategias que se pueden utilizar. Las prácticas y el feedback de calidad están muy consolidadas en la investigación académica, pero resulta más difícil implementarlas a medida que crece el tamaño de la clase. En el caso de la sincronía[Ui1] , la decisión dependerá en gran medida de las características de los alumnos y de sus necesidades: los adultos generalmente requieren más flexibilidad, por lo que es probable que un diseño asincrónico, quizás con sesiones sincrónicas opcionales, sea lo más conveniente. En cambio, un público más joven seguramente se beneficiará más de sesiones sincrónicas obligatorias.

Las interacciones alumno-contenido, alumno-alumno y alumno-alumno,[Ui2]  han sido exhaustivamente investigadas en el contexto del aprendizaje en línea. En esencia, las conclusiones indican que, cuando estas interacciones están integradas de manera razonable, aumentan los resultados del aprendizaje (9). En consecuencia, una planificación íntegra incluye, además del contenido, cómo se van a apoyar las diferentes interacciones que son importantes para el proceso de aprendizaje. Desde este enfoque, se reconoce el aprendizaje como un proceso social y cognitivo, y no simplemente como una cuestión de transmisión de información.

Quienes hayan desarrollado programas de aprendizaje en línea coincidirán en que un diseño efectivo pretende crear una comunidad de aprendizaje, apoyando al estudiante con recursos sociales y ‘co-curriculares’. Pensemos en la infraestructura que soporta la educación presencial y por ende el éxito de los estudiantes: recursos en la biblioteca, vivienda, servicios profesionales, servicios de salud, etc. La educación presencial no triunfa (sólo) porque las lecciones magistrales sean buenas. Las lecciones son una pieza más de un ecosistema diseñado para apoyar a los estudiantes mediante recursos formales, informales y sociales. En última instancia, par que la educación en línea sea efectiva, también es necesario un ecosistema que apoye a los alumnos, y este hay que plantearlo y construirlo. La simple transmisión de contenido en línea puede ser rápida y barata, pero confundir eso con una educación en línea robusta es similar a confundir lecciones aisladas con la totalidad de la educación residencial. [Ui3] 

Generalmente, planificar, preparar y desarrollar un curso universitario totalmente en línea toma un tiempo de seis a nueve meses antes del comienzo de este. Los docentes, por lo general, se sienten más cómodos al realizar la segunda o incluso tercera repetición de sus cursos en línea. En la situación actual, es imposible que todos los miembros de una facultad se conviertan, de forma repentina, en expertos de la enseñanza y el aprendizaje en línea. Aunque en muchos casos existen recursos que apoyan a los centros en ese sentido, la magnitud y velocidad del cambio provocarán que dichos sistemas se saturen y sobrepasen su capacidad. Siendo realistas, muchos de las experiencias en línea que los docentes ofrecerán a los estudiantes serán incompletas, no estarán bien planificadas o estarán implementadas de forma subóptima. Debemos reconocer que todos intentarán hacerlo lo mejor que puedan, y que tratarán de extraer solo lo esencial, mientas afrontan desenfrenadamente la emergencia. En conclusión, es importante distinguir entre el aprendizaje en línea cotidiano, efectivo, y el que se realizará bajo recursos mínimos y tiempo escaso: la enseñanza remota de emergencia (ERDE).

Enseñanza remota de emergencia

A diferencia de las experiencias educativas completamente diseñadas y planificadas para ser en línea, la enseñanza remota de emergencia (ERDE) responde a un cambio súbito de modelos instructivos a otros alternativos como consecuencia de una situación de crisis. En tales circunstancias, la educación que normalmente se impartiría de forma presencial o semipresencial requiere soluciones inmediatas totalmente remotas, pese a que, al remitir la crisis, vuelvan a adoptar el formato inicial. El objetivo principal en estas circunstancias no es recrear un ecosistema educativo robusto, sino más bien proporcionar acceso temporal a la enseñanza y a los apoyos instructivos de una manera rápida y fácil de configurar. Entendiendo la ERDE de esta manera, podemos empezar a disociarlo del aprendizaje en línea. Existen muchos ejemplos de países que, respondiendo al cierre de escuelas y universidades en tiempos de crisis, han implementado modelos como el aprendizaje móvil, la radio, el aprendizaje combinado, y otras soluciones adecuadas al contexto. Por ejemplo, en un estudio sobre el papel de la educación en situaciones de fragilidad y emergencia, la Red Interinstitucional para la Educación en Emergencias examinó cuatro estudios de caso (10). Uno de esos casos fue Afganistán, donde la educación fue interrumpida por conflictos y violencia, y las escuelas mismas eran objetivos, a menudo porque las niñas intentaban acceder a la educación. Con el fin proteger a los niños, se utilizó la educación por radio y los DVD, que permitieron mantener y expandir el acceso educativo, promoviendo, además, la educación de las niñas.

Lo que parece evidente al examinar ejemplos de planificación educativa en una situación de crisis es que estos problemas requieren soluciones creativas. Debemos proponer soluciones originales que satisfagan las nuevas necesidades de los alumnos y las comunidades educativas. En algunos casos, incluso podría ayudarnos a generar algunas soluciones nuevas a problemas indescifrables, como los peligros a los que se enfrentan las niñas al tratar de acceder a la educación en Afganistán. Puede ser tentador pensar en la ERDE como una estrategia básica de la enseñanza estándar. En realidad, el reto es proponer modos, métodos y medios de entrega que se adapten a la limitación de recursos y necesidades que van cambiando rápidamente, como lo es el apoyo y formación de docentes 11.

En la situación actual de emergencia, los equipos que apoyan al profesorado en materia de aprendizaje en línea no podrán ofrecer el nivel de servicio habitual, ni atender a todos los docentes que lo necesiten. Al contribuir en el diseño y planificación de los cursos, estos equipos desempeñan un papel fundamental en la experiencia del alumno. Entre otras tareas, los equipos de apoyo colaboran en el diseño completo de cursos, ofrecen oportunidades de desarrollo profesional, de contenido, formación en gestión del aprendizaje o creación de contenidos multimedia de la mano de los expertos en las materias. Es frecuente que los docentes que buscan apoyo en estos equipos tengan niveles competencia digitales variados, y que estén acostumbrados a la asistencia personalizada durante su experiencia con nuevas herramientas. El cambio a la ERDE requiriera que el profesorado tome más control sobre el diseño del curso, su desarrollo y proceso de implementación. La necesidad de desarrollar cursos de aprendizaje en línea en un periodo muy corto de tiempo, unido a la mayor demanda de apoyo por parte del profesorado, obligan a encontrar nuevas maneras de continuar con la docencia mientras los docentes mismos desarrollan habilidades y competencias para crear entornos digitales de aprendizaje. Por todo ello, las instituciones deben repensar la forma en la que estos equipos de apoyo realizan su labor, por lo menos durante un estado de emergencia.

La velocidad con la que se necesita el cambio a la ERDE puede disminuir la calidad de los cursos. Como hemos comentado, el desarrollo de un curso completo puede tomar meses cuando se realiza correctamente. La necesidad de “simplemente tenerlo en línea” contradice directamente el tiempo y recursos necesarios que se dedican normalmente. Por ello, los cursos creados en estas circunstancias no deben aceptarse como una alternativa a largo plazo, sino como una solución para un problema inmediato. Una de las cuestiones que preocupan en el contexto la ERDE es la accesibilidad de los materiales de aprendizaje. El tema de la accesibilidad es una razón más por la cual el Universal Design For Learning (UDL) debería ser parte de todas las discusiones sobre enseñanza y aprendizaje. Los principios de la UDL se centran en que el diseño de los entornos de aprendizaje sea flexibles, inclusivos y centrados en el alumno, para asegurar que todos ellos puedan acceder y aprender de los materiales, actividades y tareas del curso (12).

Evaluando ERDE

Las instituciones que querrán realizar evaluaciones tras los esfuerzos invertidos en la ERDE, pero ¿qué deberían evaluar? Primero, veamos qué no evaluar. Un error común es pensar que comparar el curso presencial con una versión en línea de este constituye una evaluación útil. Este tipo de evaluación, conocida como estudio de comparación de medios, no proporciona un valor real, por, al menos, tres razones:

Primero, cualquier medio es simplemente una forma de transmitir información, y un medio no es inherentemente mejor o peor que otro. En segundo lugar, necesitamos comprender mejor los diferentes medios y la forma en que las personas aprenden con ellos para poder diseñar estudios efectivos. Y, tercero, hay demasiadas variables de confusión incluso en el mejor estudio de comparación de medios para que los resultados sean válidos y significativos (13).

Los investigadores que realizan estudios de comparación de medios están analizando “el medio como conjunto y prestando poca atención a los atributos y características de cada uno, a las necesidades del alumno o a las teorías psicológicas del aprendizaje” (14).

Existen otros enfoques de evaluación que pueden ser útiles en este movimiento hacia ERT. El éxito de las experiencias de aprendizaje a distancia y en línea se puede medir de varias maneras, según cómo se defina el “éxito” desde la perspectiva de una determinada parte interesada. Desde el punto de vista del profesorado, el interés principal estará en los resultados de aprendizaje de los estudiantes. ¿Consiguieron los alumnos adquirir el conocimiento, las habilidades y/o actitudes que constituían el foco de la experiencia educativa? Los resultados actitudinales posiblemente también serán de interés, tanto para los estudiantes como para el profesorado. Para los estudiantes, cuestiones como el interés, la motivación y la participación están directamente relacionadas con el éxito de la experiencia y, por lo tanto, podrían ser posibles focos de evaluación. Para el profesorado, la actitud hacia la enseñanza en línea y todo lo que ello conlleva pueden determinar también el éxito.

Otros temas relevantes relacionados con la oferta de cursos y programas a distancia son: los resultados programáticos, como las tasas de finalización, el alcance comercial, la inversión de tiempo del profesorado o los impactos en los procesos de promoción y titularidad. Finalmente, se pueden incluir como áreas de evaluación los recursos y estrategias de implementación, como la fiabilidad de los sistemas tecnológicos seleccionados, los sistemas de apoyo al alumno, el soporte al profesorado para el desarrollo de programas y herramientas pedagógicas en línea, asuntos de política y gobernanza relacionadas con el desarrollo de programas a distancia o garantías de calidad. Todos estos factores pueden influir en la efectividad de las experiencias de aprendizaje a distancia y en línea, y pueden servir de guía en las fases de diseño, desarrollo e implementación de las experiencias de aprendizaje (15). Estas áreas de evaluación se recomiendan para programas de aprendizaje en línea o a distancia bien planificados, y pueden no ser apropiados para la ERDE. La evaluación en este caso requerirá preguntas más amplias, especialmente durante la implementación inicial.

A continuación, recomendamos en qué focos deberían centrarse los esfuerzos para evaluar la ERDE. El lenguaje del modelo CIPP se utilizará para la estructura (16). CIPP es un acrónimo que representa el contexto, las entradas, el proceso y los productos (ver tabla 1).


Fuente: Daniel L. Stufflebeam and Guili Zhang, The CIPP Evaluation Model: How to Evaluate for Improvement and Accountability (New York: Guilford Publications, 2017).

En el caso de la ERDE, las instituciones pueden considerar preguntas para la evaluación como:

  • Dada la emergencia para adoptar la enseñanza remota, ¿qué recursos internos y externos fueron necesarios para apoyar esta transición? ¿Qué aspectos del contexto (institucional, social, gubernamental) afectaron a la viabilidad y efectividad de la transición? (contexto)
  • ¿Cuál fue el impacto de las interacciones de la universidad con los estudiantes, las familias, el personal y las partes interesadas locales y gubernamentales en la respuesta percibida al cambio a ERDE? (contexto)
  • ¿Fue suficiente la infraestructura tecnológica para manejar las necesidades de ERDE? (entrada)
  • ¿El personal de apoyo del campus tenía la capacidad suficiente para satisfacer las necesidades de ERDE? (entrada)
  • ¿Fue suficiente el desarrollo profesional de la facultad para permitir ERDE? ¿Cómo podemos mejorar las oportunidades para demandas de aprendizaje inmediatas y flexibles relacionadas con enfoques alternativos de instrucción y aprendizaje? (entrada)
  • ¿Dónde tuvieron profesores, estudiantes, personal de apoyo y administradores más dificultades con la ERDE? ¿Cómo podemos adaptar nuestros procesos para responder a tales desafíos operativos en el futuro? (proceso)
  • ¿Cuáles fueron los resultados programáticos de la iniciativa ERDE (es decir, tasas de finalización del curso, análisis agregados de calificaciones, etc.)? ¿Cómo pueden abordarse los desafíos relacionados con estos resultados para apoyar a los estudiantes y profesores afectados por estos problemas? (producto)
  • ¿Cómo puede ayudar el feedback de los estudiantes, el profesorado y los equipos de apoyo del campus a descubrir las necesidades de la ERDE en el futuro? (producto)

La evaluación de la ERDE debe centrarse más en el contexto, los elementos de entrada y el proceso que en el producto (aprendizaje). El objetivo no es prescindir en evaluación de si se produjo o no el aprendizaje, o en qué medida se produjo, sino enfatizar que la urgencia de la ERDE y todos los elementos que se necesitarán para hacerla posible serán los elementos más críticos de la evaluación. Esta idea ya se está viendo reflejada en algunas instituciones que están comenzando cambiar las calificaciones con escalas de letras por la opción de aprobar/suspender durante la ERDE.(17)

Además, tal y como se ha probado en numerosas ocasiones, surgen problemas en torno a las evaluaciones que realizan los estudiantes de los cursos y docentes, por lo que recomendamos que, dichas evaluaciones de fin de semestre/curso no contabilicen para los miembros del centro involucrados en ERDE.(18) Si la política de una institución exige esas evaluaciones, debería considerarse enmendar la política o asegurarse de que en los resultados se tengan en cuenta las circunstancias de crisis.

Conclusiones

Al migrar al aprendizaje en línea de forma tan abrupta, hay que tener en cuenta que las crisis y los desastres también crean interrupciones en la vida de los estudiantes, el personal y los docentes, fuera de su papel en la universidad. Por lo tanto, al realizar todo este trabajo se debe entender que el cambio a la ERDE probablemente no será la prioridad de todos los involucrados y que habrá estudiantes que quizás no puedan incorporarse a los cursos de inmediato. Por ello, las actividades asincrónicas pueden ser más razonables que las síncronas. Habrá que reconsiderar los plazos establecidos para las tareas, las políticas del curso y las políticas institucionales. Para un ejemplo de alto nivel, el Departamento de Educación de EE.UU. Ha relajado algunos requisitos y políticas frente a COVID-19.(19)

Esperemos que la amenaza COVID-19 pronto sea un recuerdo. Cuando así lo sea, no deberíamos olvidar por completo la ERDE. Es probable que en el futuro haya otras crisis de salud o peligro público, o desastres naturales como incendios, huracanes o el Vórtice Polar, que ya en otras ocasiones han obligado a cerrar algunos centros (20). La posibilidad de tener que volver a la ERDE nos invita a concluir que los profesores y miembros de los centros educativos deben tener las habilidades y competencias para poder responder.

La amenaza de COVID-19 ha presentado algunos desafíos únicos para las instituciones de educación superior. Por primera vez en su vida, todas las partes involucradas (estudiantes, facultad y personal) han tenido que responder de manera extraordinaria en lo referente a enseñanza y aprendizaje.

Aunque esta situación es estresante, cuando termine, las instituciones tendrán la oportunidad de evaluar cómo pudieron implementar la ERDE para dar continuidad a su labor docente. En ese momento, será importante evitar la tentación de equiparar la ERDE con el aprendizaje en línea de calidad. Con una planificación cuidadosa, el personal de cada centro podrá evaluar sus esfuerzos, lo que les permitirá identificar las fortalezas y debilidades, y con ello estar mejor preparados para la posible necesidad de acudir a la ERDE en el futuro.

Notas

  1. Por ejemplo: “Information for Ohio State University Students, Faculty and Staff,” The Ohio State University, Wexner Medical Center; “President Eisgruber Updates University on Next Steps Regarding COVID-19 to Ensure Health and Well-Being of the Entire Community,” Princeton University; and Everett Community College
  2. “Coronavirus and Higher Education Resources,” Bryan Alexander blog, March 17, 2020. 
  3. Jonathan Zimmerman, “Coronavirus and the Great Online-Learning Experiment,” Chronicle of Higher Education, March 10, 2020. 
  4. Laura Czerniewicz, “What We Learnt from ‘Going Online’ during University Shutdowns in South Africa,” PhilOnEdTech, March 15, 2020. 
  5. “Teaching,” Merriam-Webster. 
  6. Daniela Peixoto Olo, Leonida Correia, and Maria da Conceição Rego, “The Main Challenges of Higher Education Institutions in the 21st Century: A Focus on Entrepreneurship,” in Examining the Role of Entrepreneurial Universities in Regional Development, eds. Ana Dias Daniel, Aurora A.C. Teixeira, and Miguel Torres Preto (Hershey, PA: IGI Global, 2020): 1–23. 
  7. Robert M. Branch and Tonia A. Dousay, “Survey of Instructional Design Models,” Association for Educational Communications and Technology (AECT), 2015. 
  8. Barbara Means, Marianne Bakia, and Robert Murphy, Learning Online: What Research Tells Us about Whether, When and How (New York: Routledge, 2014). 
  9. Robert M. Bernard, Philip C. Abrami, Eugene Borokhovski, C. Anne Wade, Rana M. Tamim, Michael A. Surkes, and Edward Clement Bethel, “A Meta-Analysis of Three Types of Interaction Treatments in Distance Education,” Review of Educational Research 79, no. 3 (2009): 1,243–89. 
  10. Lynn Davies and Denise Bentrovato, “Understanding Education’s Role in Fragility; Synthesis of Four Situational Analyses of Education and Fragility: Afghanistan, Bosnia and Herzegovina, Cambodia, Liberia,” International Institute for Educational Planning (2011). 
  11. For an explanation of method, media, and mode in online learning, see J. Thomas Head, Barbara B. Lockee, and Kevin M. Oliver, “Method, Media, and Mode: Clarifying the Discussion of Distance Education Effectiveness,” Quarterly Review of Distance Education 3, no. 3 (2002): 261–68. 
  12. See “UDL On Campus,” 
  13. Daniel W. Surry and David Ensminger, “What’s Wrong with Media Comparison Studies?” Educational Technology 41, no. 4 (July–August 2001). 
  14. Barbara Lockee, Mike Moore, and John Burton, “Old Concerns with New Distance Education Research,” EDUCAUSE Quarterly 24, no. 2 (2001): 60–68. 
  15. Mike Moore, Barbara Lockee, and John Burton, “Measuring Success: Evaluation Strategies for Distance Education,” EDUCAUSE Quarterly 25, no. 1 (2002): 20–26. 
  16. Daniel L. Stufflebeam and Guili Zhang, The CIPP Evaluation Model: How to Evaluate for Improvement and Accountability (New York: Guilford Publications, 2017). 
  17. For a discussion of institutions moving to pass/fail in response to COVID-19, see Allison Stanger, “Make All Courses Pass/Fail Now,” Chronicle of Higher Education, March 19, 2020. 
  18. For information about issues with student evaluation of instruction, see Shana K. Carpenter, Amber E. Witherby, and Sarah K. Tauber, “On Students'(Mis) judgments of Learning and Teaching Effectiveness,” Journal of Applied Research in Memory and Cognition, February 12, 2020. 
  19. “Guidance for Interruptions of Study Related to Coronavirus (COVID-19),” Federal Student Aid, Information for Financial Aid Professionals (IFAP), March 20, 2020. 
  20. Elin Johnson, “As Fires Rage, More Campuses Close,” InsideHigherEd, October 29, 2019; Jenni Fink, “Florida Universities Cancelling Classes, Closing Campus Ahead of Potential Category 4 Hurricane Dorian,” Newsweek, August 29, 2019; and Perry Samson, “The Coronavirus and Class Broadcasts,” EDUCAUSE Review, March 3, 2020.