https://doi.org/10.29059/cienciauat.v19i1.1879
Agente conversacional como herramienta de apoyo en el
aprendizaje del lenguaje C.
Conversational agent as a support tool for learning
C Language
Chatbot para el aprendizaje de C
Ma. Rosario Vázquez-Aragón1*,
Patricia Zavaleta-Carrillo1, Ulises Barradas-Arenas1,
Gloria del Jesús Hernández-Marín2
*Correspondencia: mvazquez@pampano.unacar.mx/Fecha de
recepción: 1 de febrero de 2024/Fecha de aceptación: 27 de mayo de 2024/Fecha
de publicación: 11 de junio de 2024
1Universidad Autónoma del Carmen, Facultad de
Ciencias de la Información, calle 56 núm. 4, esq. avenida Concordia, col.
Benito Juárez, Ciudad del Carmen, Campeche, México, C. P. 24180. 2Universidad
Autónoma del Carmen, Facultad de Ciencias Educativas, Ciudad del Carmen,
Campeche, México, C. P. 24180.
RESUMEN
Un agente conversacional, es un sistema de software, que permite emular la comunicación con un
ser humano a través de mensajes de texto o voz. El objetivo de este trabajo
fue evaluar la funcionalidad y usabilidad (eficacia, eficiencia, satisfacción)
de un agente conversacional denominado Codebot, desarrollado en la Facultad de Ciencias de
la Información, como herramienta de apoyo para facilitar el aprendizaje del
lenguaje de Programación C de los estudiantes del programa educativo de
Ingeniería en Sistemas Computacionales, así
como, la experiencia y calidad hedónica (social) de la herramienta. El
alcance del estudio fue descriptivo, con análisis cuantitativo. La recolección de datos fue transversal con muestras de distintos tamaños por
conveniencia. Se empleó la Escala de
Usabilidad del Sistema (SUS), que se extendió para evaluar tres
aspectos: efectividad y eficiencia del bot, así como la satisfacción del usuario. La
fiabilidad del instrumento fue de 0.93 alfa de Cronbach. El
comportamiento del agente en la prueba
funcional final arrojó 70 % de respuestas exitosas y un 30 % de
solicitudes no reconocidas, debido a que: 1)
la información solicitada no se encontraba en la base de conocimiento
del agente, 2) solicitudes mal planteadas o
sin sentido. El diseño e implementación del agente conversacional Codebot
permitió obtener una base de
conocimiento robustecida para mejorar el aprendizaje del lenguaje C, y su funcionamiento fue satisfactorio. Sin embargo, es necesario continuar con pruebas con
mayor número de muestras que profundicen en
las características sobre la creación del agente conversacional.
PALABRAS
CLAVE: agente
conversacional, usabilidad, aprendizaje, enseñanza.
ABSTRACT
A conversational
agent is a software system that emulates communication with a human being through text or voice
messages. The objective of this work was to
evaluate the functionality and usability (effectiveness, efficiency, satisfaction)
of a conversational agent called Codebot, developed at
the Faculty of Information Sciences, as a support tool to facilitate the learning of C programming language by students of the Computer Systems Engineering
program, as well as their experience and hedonic (social) quality of the tool.
The scope of the study was
descriptive, with quantitative analysis. The data collection was cross-sectional with convenience samples of different sizes. The
System Usability Scale (SUS) was used, which
was extended to evaluate three aspects: effectiveness and efficiency of the bot, as well as user satisfaction. The
reliability of the instrument was 0.93
Cronbach’s alpha. The behavior
of the agent in the final functional test showed 70 % of successful responses and 30 % of
unrecognized requests due to two main reasons: 1) the requested
information was not in the agent’s knowledge
base, 2) poorly formulated or
meaningless requests. Desing and implementation of the conversational agent Codebot
obtained a robust database to improve learning of the C language and its
function was satisfactory. However, is necessary to continue with tests that include a larger number of samples that
delve deeper into the characteristics regarding the creation of the conversational
agent.
KEYWORDS:
conversational agent, usability,
learning, teaching.
INTRODUCCIÓN
A nivel nacional e internacional se ha observado a lo largo
del tiempo, en diferentes niveles escolares, dificultades en el aprendizaje de
programación; Jones y col. (2022) afirmaron
que aprender a programar involucra niveles de organización y sistematización de
procesos cognitivos ligados a la organización y atención, además de un
alto grado de creatividad a la hora de resolver un problema.
Entre las diferentes razones por las cuales se afirma que
aprender a programar es difícil, se pueden
mencionar: se requiere la comprensión de antecedentes teóricos, uso de
semántica, codificación sintáctica y habilidades algorítmicas, además de que se tienen que comprender errores de sintaxis
(Justo-López y col., 2021).
Alonso-Berenguer (2021) argumentó que, en la actualidad
existen insuficiencias en el aprendizaje de la programación por parte de los
estudiantes. La reprobación en esta área es un problema que aqueja a las universidades. Cheah
(2020), indicó que la dificultad de aprendizaje de programación no es un
problema exclusivo de los estudiantes de Chile, sino un problema a nivel
mundial. La unidad de aprendizaje de Programación, ofertada en la Facultad de Ingeniería (FIM) de la Universidad Autónoma de Baja California (UABC) en México tiene
un alto índice de reprobación (Justo-López y col., 2021).
Para dar solución a las problemáticas del
aprendizaje de la programación se han
hecho diversas propuestas. Jones y col. (2022) mencionaron: a) los seminarios
para estudiantes de primer año, que fomenten hábitos de estudio, administración de tiempo y acciones que apoyen la
autorregulación del aprendizaje, además de atender componentes afectivos
como la motivación; b) programas de tutorías;
c) programas de atención al progreso académico.
Ascencio-Jordán y Gil-Mateos (2023), afirmaron que
diseñar estrategias y metodologías específicas apoyadas en las tecnologías de
la información y comunicación (TIC)
para la enseñanza de la programación pueden representar resultados
académicos favorables para los estudiantes.
Alonso-Berenguer (2021) propuso un sistema básico de
habilidades para la algoritmización computacional
que favorece el perfeccionamiento del proceso de enseñanza aprendizaje.
Chimba (2020) integró el software educativo
para apoyar el proceso de enseñanza-aprendizaje de la programación básica en estudiantes universitarios.
Ayala-Cadena y Aguilar-Juárez (2023) mencionaron que, además de usar software educativo, es necesario proveer al alumno
de herramientas que faciliten su auto-gestión y un
acompañamiento didáctico constante para poder aclarar dudas e
inquietudes en el proceso de aprendizaje, por lo que, proponen aprovechar los
asistentes conversacionales que aplican inteligencia artificial en la
interacción con los estudiantes de programación.
Un agente conversacional se puede definir como un sistema informático que trata de emular
la conversación con un humano (Caldarini y col.,
2022); se han desarrollado en diferentes
ámbitos desde la salud, el comercio, la industria, educación, entre otros (Suganya y col., 2020; Zhang y col., 2020; Allouch y col., 2021;
Barreto y col., 2021; Ait-Baha y col., 2022; Pawlik y col., 2022). En los últimos años, su uso se ha
incrementado y se han convertido en una herramienta valiosa para dar atención a
los usuarios por las ventajas que ofrecen tales como: disponibilidad y
facilidad de uso, facilidad de implementación, reducción de costos de mantenimiento, entre otras (Allouch
y col., 2021).
En el área de la educación, los agentes
conversacionales han sido ampliamente utilizados para proporcionar atención académica a sus estudiantes tales como: tareas administrativas (Lalwani y col., 2018; Abdullah, 2021; Nandeesh
y col., 2021; Olmedo-Carpio, 2021;
Gupta y Chen, 2022) y atención a aspirantes (Nguyen y col., 2021; Bal y col., 2022;
Man y col., 2023). También se usan en procesos de enseñanza-aprendizaje en
diferentes temáticas, incluyendo la computación y programación (Hobert,
2019; Long y col., 2019; Mad-Daud y col.,
2020; Neumann y col., 2021; Essel y col., 2022; Liu y col., 2022; Mateos-Sánchez y
col., 2022; Okonkwo y Ade-Ibijola,
2022; Soares y de-Freitas, 2022).
En la literatura, existe una amplia gama de estudios que
rodean a los agentes conversacionales (Allouch y
col., 2021). Una metodología para su diseño y retroalimentación identifica la evaluación de la experiencia del usuario que
se lleva a cabo a través de: 1) mecanismos de interacción y 2) flujo de
la conversación (Astruga,
2021). Los mecanismos de interacción en mensajes de texto pueden ser a
través de botones o texto libre. En cuanto al flujo
de conversación se clasifican en: a) orientados a la tarea, que están diseñados para completar tareas
específicas o responder preguntas frecuentes
y b) orientados al tema, que se enfocan en un tema específico
(Fernández-Ferrer, 2023).
Por lo general, en los estudios que evalúan la experiencia
del usuario valoran la calidad pragmática y hedónica de los agentes. La calidad
pragmática se enfoca en la funcionalidad del agente conversacional, es decir,
la medida en que el agente proporciona
respuestas útiles, mientras que la
calidad hedónica se enfoca en evaluar
la satisfacción emocional que un
usuario experimenta al interactuar con el agente (Følstad
y Brandtzaeg, 2020).
Los hallazgos de Fornell-Haugeland
y col. (2022) al evaluar la experiencia de los usuarios de agentes
conversacionales, indican que, el mecanismo de interacción de botón tuvo más aceptación que el de texto libre en cuanto
a la calidad pragmática, ya que satisfacen sus
necesidades puntuales de información, así como de servicios. Por otra parte, Følstad
y Brandtzaeg (2020), en su estudio cualitativo
evaluaron las experiencias positivas y negativas de usuarios de diversos
agentes conversacionales. En dicho estudio se resalta la importancia del
atributo pragmático en los agentes, sin embargo, señalaron la
importancia de que, los agentes incluyan atributos sociales. Para los agentes
enfocados a la tarea es relevante cumplir con la calidad pragmática antes que la hedónica (Ramírez-García, 2021).
Algunas de las estrategias didácticas implementadas de los agentes conversacionales son los
videos educativos sobre programación en
lenguaje C, enfocados en temas de mayor dificultad para los estudiantes, como lo
son: estructuras repetitivas, arreglos unidimensionales y arreglos
bidimensionales (Justo-López y col., 2021).
En este trabajo, se propuso un agente
conversacional como una herramienta de apoyo para dar solución al desafío que,
presenta para los estudiantes de nuevo ingreso el curso de Programación I, de
la Facultad Ciencias de la Información (FCI) de la Universidad Autónoma del Carmen (UNACAR), ubicada en el estado de Campeche, México. Este curso forma parte del plan
de estudios de la Licenciatura en Ingeniería
en Sistemas Computacionales (LISC) y aborda en su contenido temático fundamentos del lenguaje de programación en C.
Dicho curso reporta el mayor índice de reprobación de acuerdo con los
resultados de los exámenes de admisión que hace llegar la dirección de
la facultad a las academias para su respectivo
análisis. Los estudiantes de nuevo
ingreso presentan bajos repertorios cognitivos en el área de
razonamiento lógico-matemático, además de la
diversidad de planes de estudio por provenir de distintos planteles de
bachillerato, por lo que los
fundamentos de programación que poseen son heterogéneos. En los reportes
de aprovechamiento generados por la academia de programación, en los ciclos
escolares enero-junio y agosto-diciembre de
2021 se identificó que, solo el 52 % de los estudiantes matriculados en el
curso de Programación I aprueban.
Dada la situación expuesta, se diseñó, implementó y probó una
herramienta web, disponible, que sirva de acompañamiento didáctico para
estudiantes que inician con la programación en lenguaje C, ya que responde
dudas específicas sobre temas básicos de este lenguaje. Entre las ventajas que
ofrecerá la herramienta se encuentran: a)
respuesta inmediata a solicitudes puntuales sobre los temas abordados en
dicho el curso, b) disponibilidad de uso para cuando los estudiantes la
necesiten.
El objetivo de este trabajo fue describir los hallazgos de la primera etapa de diseño e implementación del agente conversacional, se evaluó su funcionalidad y usabilidad, explorando su efectividad, eficiencia y satisfacción mediante
cuatro atributos: ortografía, respuestas del chatbot, flujo del chat, calidad de la información y bienvenida.
MATERIALES Y MÉTODOS
Diseño de la investigación
Se llevó a cabo un estudio descriptivo
con análisis cuantitativo de corte
transversal.
Funcionalidad y usabilidad
El agente conversacional desarrollado en este trabajo es
orientado a la tarea, por lo que se realizaron análisis de interacciones,
frecuencias y porcentajes para estimar la efectividad (funcionalidad) entre
solicitudes realizadas al agente y su
respuesta, ante la necesidad de los usuarios en el aprendizaje de
programación I.
También, se evaluó su calidad
pragmática, a través de la medición de
la efectividad, eficiencia y satisfacción
del usuario en el empleo del agente conversacional denominado Codebot.
De acuerdo con el estándar ISO 9241-11,
referida en Ren y col. (2019), la usabilidad representa la medida en la que un
sistema se puede utilizar con las características mencionadas. Respecto a la usabilidad
relacionada con los agentes conversacionales, Radziwill y Benton (2017)
realizaron una revisión sistemática, en la que listaron atributos y características de calidad de los chatbots,
así como enfoques apropiados de control de calidad.
Población y muestra
La población de estudio estuvo
constituida por 499 estudiantes de la
FCI de la UNACAR. La muestra empleada fue de 71 casos-tipo durante las
cuatro fases.
En la fase I, el tipo de muestreo fue por
conveniencia, ya que se evalúo las
respuestas que arrojó el agente conversacional, sobre los temas del curso de
programación I.
En la fase II, la muestra fue nula, ya que se replicaron las
iteraciones de la fase I con el fin de evaluar nuevamente el comportamiento del
agente conversacional con base a las mejoras implementadas.
Para la fase III, se utilizó un nuevo muestreo por
conveniencia, seleccionando a 20 estudiantes de segundo semestre que acababan
de aprobar el curso de Programación I, quienes evaluaron la utilidad o
funcionalidad de Codebot; de estos estudiantes 15 contestaron la evaluación de usabilidad.
Para la fase IV, también se utilizó un tipo de muestreo por
conveniencia; el interés se centró en 11
estudiantes que estaban cursando Programación I y 20 programación II, ya que la funcionalidad básica de Codebot
es atender dudas sobre los temas de este curso.
Instrumento
Con el fin de valorar la usabilidad de Codebot se
utilizó el instrumento Escala de Usabilidad del Sistema (SUS, por sus
siglas en inglés: System Usability
Scale) (Brooke, 1995), que se extendió con nueve
preguntas adicionales para evaluar la
efectividad, eficiencia, y satisfacción de los usuarios, adaptado para chatbots
(Jiménez-Flores y col., 2018; Cameron y col., 2019; Olausson, 2019; Hernández-Pérez y Llull-Céspedes, 2021; Mora-Blasco, 2021; Safitri
y col., 2021).
Para evaluar la confiabilidad del instrumento se aplicaron
los estadísticos alfa de Cronbach y Omega de McDonald para cada una de las
dimensiones (Tabla 1). Para cada dimensión, se
obtuvieron las correlaciones entre cada ítem con el resto de los ítems
de esa misma dimensión (Tabla 2). Se aplicó
la prueba de normalidad de Kolmogórov-Smirnov a las tres dimensiones, y se observó que no muestran una
distribución normal (Tabla 3), debido a
que la muestra es mayor a 30.
Para el análisis de correlación se empleó la prueba Rho de
Spearman por la falta de distribución normal. Las dimensiones 1 y 3 presentaron una correlación alta (Tabla 4).
Fases en la creación del agente conversacional
Al agente conversacional se le nombró Codebot y se
diseñó su respectivo avatar como un robot futurista (Figura 1), en su pecho
tiene símbolos que se utilizan en
programación. La gama de colores que se empleó,
es blanco y azul, que representan los colores institucionales de la UNACAR.
Para el desarrollo del trabajo se tomó del modelo de cascada, sus fases de
análisis, diseño e implementación, pero las pruebas fueron realizadas en
diferentes fases, con el fin de ir verificando la funcionalidad, usabilidad y contenido de la base de conocimiento del agente conversacional. En
la Tabla 5 se describe cada una de las etapas del procedimiento utilizado, así
como la manera en que se implementó el desarrollo. A continuación, se describen
cada una de estas fases.
Fase de pruebas
Fase I. Análisis, diseño, creación,
implementación del Codebot y prueba
Se evaluaron los requerimientos técnicos para el diseño y creación del agente conversacional
en la plataforma Dialogflow de Google (Google-Cloud, 2022) y se
implementó en la red social Facebook, dado que es la red utilizada
institucionalmente y también a nivel facultad. El agente conversacional fue
entrenado acorde al temario del curso de Programación I, que se imparte en la facultad. En la etapa inicial, la
base de conocimiento de Codebot estuvo formada por 80 intenciones, así
como dos entidades.
En la fase I, los sujetos de prueba fueron 25 estudiantes de
5º y 7º semestre matriculados en dos grupos de cursos impartidos por autores
del presente trabajo. La finalidad de
que estudiantes de semestres avanzados
probaran al agente conversacional (Figura 2) se debió a que ellos poseen bases sólidas sobre programación,
sobre todo del lenguaje C. Se le solicitó a
cada participante que realizaran 25
solicitudes sobre los temas que se
abordan en el curso de Programación I, por lo que en total se hicieron 625 solicitudes
al agente conversacional como parte
de las pruebas funcionales. Estas
pruebas consistieron en: a) solicitar a los estudiantes que utilizaran Codebot y entregaran un reporte
con las solicitudes realizadas, así
como las respuestas arrojadas por el agente; b) redactar un comentario de su percepción sobre el funcionamiento de Codebot.
Fase II. Implementación de mejoras
En la fase II, no se realizaron pruebas
funcionales a Codebot, se alimentó su base de conocimiento con preguntas
(solicitudes) que no reconoció de la fase I, se identificaron puntos de mejora
a la base de conocimiento de Codebot, así como problemas en la
presentación de algunos temas. Con base a esto, se llevaron a cabo una serie de
acciones:
• Se añadieron nuevas intenciones para las solicitudes no reconocidas detectadas en los reportes
de los estudiantes.
• Se añadieron más frases de
entrenamiento a las interacciones existentes que lo requerían.
• Se modificó el formato de presentación
de algunos temas, por ejemplo, se cambió texto por imágenes.
Con el fin de verificar el correcto funcionamiento del agente con las modificaciones realizadas,
se replicaron las 625 solicitudes que se
realizaron en la fase I; 37 solicitudes no se consideraron en los
cambios, debido a que se referían a
conceptos no contemplados en el contenido del curso Programación I. Inicialmente la base de conocimiento de Codebot contó con 87 intenciones (posibles preguntas).
Fase III. Pruebas de funcionalidad y usabilidad en la versión
actualizada
Las pruebas las realizaron 20 estudiantes, de segundo semestre, matriculados en dos grupos de
clase de los autores. Los estudiantes realizaron pruebas de funcionalidad de Codebot, también expresaron
su experiencia respecto al mismo. De los 20
estudiantes, solo 15 evaluaron la usabilidad de Codebot, a través del instrumento SUS extendido. En
esta fase se puso atención a la habilidad social (calidad hedónica) del agente
conversacional, por lo que se agregaron
contextos a los temas plasmados en el agente con el fin que los usuarios tuvieran una conversación fluida con
éste.
Fase IV. Pruebas de usabilidad en la versión actualizada
En esta fase, las pruebas las realizaron
31 estudiantes; 11 matriculados en el curso de Programación I y 20 estudiantes
que se encontraban cursando programación II, que aborda temas como: matrices,
estructuras, archivos y apuntadores.
RESULTADOS
Fase I
De 625 solicitudes realizadas a Codebot, éste respondió el 52.8 % de manera correcta, el 0.5
% de manera incorrecta y el 46.7 % de las solicitudes no las reconoció, ya que
éstas no formaban parte de su base de conocimiento.
Fase II
Al replicar, las 625 solicitudes que hicieron los estudiantes
en la fase anterior, se observó, que el agente
conversacional incrementó su eficiencia al aumentar el porcentaje de respuestas
correctas respecto a la primera fase (Tabla 6). Sin embargo, el 11.36 % de las
solicitudes no pudieron ser atendidas, ya que éstas abordaban temas no contemplados
en la base de conocimiento del agente. En general, estas solicitudes se
referían a temas avanzados del lenguaje C tales como: manejo de archivos, apuntadores,
estructura de datos, entre otros.
Las preguntas no reconocidas por Codebot,
se clasificaron en tres grupos (Tabla 7): a) Fuera de tema, se refiere a
preguntas que no forman parte del temario de programación I; b) In-congruentes,
se refiere a preguntas ilógicas o sin sentido; y c) Añadir en Codebot, se
refiere a preguntas que Codebot debería contemplar en su base de
conocimiento.
Fase III
En la evaluación de usabilidad, donde
participaron 15 estudiantes, el agente tuvo una valoración buena en cada uno de los atributos que evaluaron la calidad de la conversación (Tabla 8). En las pruebas
funcionales, los 20 estudiantes realizaron 1 825 solicitudes en total, en las
que aumentó el número de respuestas correctas (1 351); las solicitudes
contestadas de manera incorrecta disminuyeron con respecto a la fase anterior,
pero con casos de solicitudes no reconocidas, por lo que fue mayor la
información proporcionada por el agente en esta fase (Tabla 9).
Fase IV
El total de solicitudes de esta fase fue
de 230, el
agente conversacional respondió 161 de manera satisfactoria, 69 de las solicitudes no las reconoció y no arrojó respuestas incorrectas
(Tabla 9).
En resumen, los resultados que arrojó la fase de pruebas
(Tabla 9), se observa que en la fase I, el porcentaje de respuestas correctas
fue bajo. En la fase II, se robusteció su base de conocimiento del bot e
incrementó su efectividad. En la fase III, el agente fue evaluado por
estudiantes que aprobaron el curso de programación I, pero que se encontraban
cursando estructura de datos, por lo que las preguntas al agente estaban
enfocadas a sus necesidades, y muchas de sus solicitudes estaban fuera de la base
de conocimiento del agente. En la fase IV, que fue probada por estudiantes
matriculados en el curso de programación I,
el porcentaje de respuestas correctas
fue considerable (70 %); la cantidad de respuestas no reconocidas se
debe a que muchas de las solicitudes carecían de pertinencia.
Experiencias del usuario
Las opiniones de la interacción con el agente se clasificaron
de la siguiente manera:
Utilidad del agente conversacional
Dado que el agente está orientado a la tarea, es relevante su calidad pragmática, en la Tabla
10 se listan las percepciones de algunos usuarios
con respecto a la utilidad de Codebot y se explica el proceso que
se ha seguido en cuanto a lo mencionado por el usuario.
Mejoras que se le añadieron a la versión
actual
A Codebot se le agregaron contextos con el objetivo de
que el estudiante siga explorando el tema de su interés. Esta mejora es con el
fin de proporcionar al usuario una impresión de continuar el mismo flujo de la
conversación. Además de dotar al agente conversacional de habilidades sociales.
En la Tabla 10 se recupera el comentario de un usuario que se percató de la
mejora añadida a Codebot.
Experiencias negativas con el agente
Se incluyeron experiencias negativas de algunos usuarios con
el agente (Tabla 10).
DISCUSIÓN
Los hallazgos obtenidos demuestran la eficiencia de Codebot, con un 70 %
de respuestas
satisfactorias y un 30 % de solicitudes no reconocidas, las cuales no se
encontraban en
la base del conocimiento del agente, dado que el objetivo de aprendizaje sólo implicó el temario de
programación I. Sin embargo, se
hace necesario continuar con estudios que evalúen las características, roles y criterios suficientes sobre la creación del agente conversacional.
El diseño del Codebot está orientado al apoyo en el
aprendizaje de los estudiantes de la carrera de LISC de la FCI de la UNACAR, para lo cual la zona de
desarrollo próxima (ZDP) explicada por
Vygotsky, es fundamental en el sujeto que aprende, pues la apropiación
de un sistema simbólico requiere la existencia de utilizar sistemas previos
como referente para el dominio del sistema
en formación (Corral, 2001).
Como se puede apreciar en este trabajo,
se realizaron varios conjuntos de pruebas, que permitieron robustecer en cada
una de ellas la
base de conocimiento del agente. Hecho que concuerda con Fornell-Haugeland y col. (2022), quienes argumentaron que los agentes desarrollados requieren
robustecer continuamente su base de conocimiento.
La herramienta diseñada e implementada
por estudiantes de la UNACAR, que apoya el contenido temático completo del
curso de programación I, enfocado en la
enseñanza del lenguaje C a nivel básico,
obtenida de la elaboración del Codebot, demuestra su relevancia, ya
que se encontraron diferencia de otros chatbots, que tienen como tema de enseñanza otros lenguajes de programación como Coding tutor (Hobert, 2019) y
e-Java (Mad-Daud y col., 2020) que trabajan con
lenguaje java, o Pythonbot (Okonkwo
y Ade-Ibijola, 2022) cuyo lenguaje tratado es Python.
En cuanto al lenguaje C, solo se
encontró C-BOT (Soares y de-Freitas, 2022) un chatterbot
que comparte conocimiento acerca de conceptos del lenguaje
de programación C, aunque los autores no mencionan cuáles son y solo se ilustra la recursividad, también implementan prueba del conocimiento de los estudiantes acerca de la funcionalidad de los algoritmos de
búsqueda binaria y el ordenamiento quick sort, temas que quedan fuera del alcance del contenido temático del curso de programación I, además de que el lenguaje
con el que se interactúa con C-BOT es portugués y no se encuentra disponible para su uso.
CONCLUSIONES
El diseño e implementación de un agente
conversacional, para atender
dudas puntuales sobre temas que se
abordan en un curso de programación básico, permitió a los estudiantes de nivel
licenciatura contar con una base de datos que les aporta conocimiento para facilitar y mejorar su aprendizaje del lenguaje C de manera satisfactoria. La incorporación de un agente conversacional, como herramienta
de apoyo en el proceso de enseñanza-aprendizaje,
mejoró la experiencia de los estudiantes
en la adquisición de la competencia de programación. Es conveniente establecer la factibilidad y eficiencia de utilizar este tipo de apoyo tecnológico interactivo para el desarrollo de otras competencias, habilidades y conocimientos, en los
estudiantes universitarios.
AGRADECIMIENTOS
Este artículo forma parte de los
resultados que se obtuvieron del proyecto con número de registro CAIPI/2022/05 denominado “Agente conversacional como
herramienta de apoyo para el aprendizaje de
cursos: Caso Programación I de la FCI-UNACAR” registrado ante el Departamento de Investigación y Posgrado de la
UNACAR. Se agradece a las autoridades universitarias
por brindar el apoyo para financiar el proyecto.
DECLARACIÓN DE INTERESES
Los autores declararon no tener
conflicto de interés alguno.
Referencias
Abdullah, A.
(2021). Intelligent college enquiry chatbot using tensorflow. International Research Journal
of Engineering and Technology, 08(01).
Ait-Baha, T., El-Hajji, M., Es-Saady,
Y., & Fadili, H. (2022). Towards highly
adaptive Edu-Chatbot. Procedia Computer Science,
198(2022), 397-403. https://doi.org/10.1016/j.procs.2021.12.260
Allouch, M., Azaria, A.,
& Azoulay, R. (2021). Conversational Agents: Goals, Technologies, Vision
and Challenges. Sensors, 21(24), 8448. https://doi.org/10.3390/s21248448
Alonso-Berenguer, I. (2021). Sistema Básico de Habilidades
para la Algoritmización Computacional. Revista de Investigación, Formación y Desarrollo:
Generando Productividad Institucional, 9(1). https://doi.org/10.34070/rif.v9i1.255
Ascencio-Jordán, E. y Gil-Mateos, J. E.
(2023). Enseñanza de la programación:
¿Nueva didáctica o una didáctica diferente? [En línea]. Disponible en:
http://scielo.sld.cu/pdf/rces/v42n3/0257-4314-rces-42-03-18.pdf. Fecha de
consulta: 30 de abril de 2024.
Astruga, J. A. (2021). Propuesta metodológica para el análisis y
diseño de chatbots basados en texto, en Repositorio Documental.
Universidad de Valladolid. [En línea]. Disponible en:
https://uvadoc.uva.es/handle/10324/50064. Fecha de consulta: 30 de abril de
2024.
Ayala-Cadena, C. O. y Aguilar-Juárez, I. (2023). La enseñanza
de la programación mediante software educativo especializado y los agentes
conversacionales. Interfases, 17(017), 170-186. https://doi.org/10.26439/interfases2023.n017.6337
Bal, S., Singh, A. K., Prakash, S.,
Kumar, S., Ghosh, B., Roy, P., & Mandat, L. (2022). An Intelligent Chatbot
for Admission System of an Educational Institute
and Prediction of User Interest in Taking Admission. Book Applications
of Machine Intelligence in Engineering. CRC Press.
Barreto, I. C. H. C., Barros, N. B. S., Theophilo,
R. L., Viana, V. F., Silveira, F. R. V., Souza, O., Sousa, F. J. G., Oliveira,
A. M. B., & Andrade, L. O. M. (2021). Development and evaluation of the
GISSA Mother-Baby ChatBot
application in promoting child health. Ciência & Saúde Coletiva, 26(5), 1679-1690. https://doi.org/10.1590/1413-81232021265.04072021
Brooke, J. (1995). SUS: A quick and dirty usability scale. Usability Eval. Ind.,
189. [En línea]. Disponible en: https://www.researchgate.net/publication/228593520_SUS_A_quick_and_dirty_usability_scale. Fecha de consulta: 12 de marzo de 2023.
Caldarini, G., Jaf,
S., & McGarry, K. A (2022). Literature Survey of Recent Advances in
Chatbots. Information, 13, 41. https://doi.org/10.3390/info13010041
Cameron, G., Cameron, D., Megaw, G.,
Bond, R., Mulvenna, M., O’Neill, S., Armour, Ch.,
& McTear, M. (2019). Assessing the Usability of a Chatbot for Mental Health
Care. In S. Svetlana, S. Bodrunova, O. Olessia-Koltsova, A. Følstad, H. Halpin, P. Kolozaridi, L. Yuldashev,
A. Smoliarova, & H. Niedermayer (Eds.), Internet
Science. INSCI 2018. Lecture Notes in Computer Science (pp.
121-132). Springer, Cham. https://doi.org/10.1007/978-3-030-17705-8_11
Cheah, C. S. (2020). Factors
Contributing to the Difficulties in Teaching and Learning of Computer
Programming: A Literature Review. Contemporary Educational Technology,
12(2), ep272. https://doi.org/10.30935/cedtech/8247
Chimba, L. S. (2020). Diseño de un software educativo para el aprendizaje de
programación básica en el estudiantado de primer semestre de la carrera de
pedagogía en informática en el periodo 2021-2022. Trabajo de titulación.
Universidad central de Ecuador. [En línea]. Disponible en:
http://www.dspace.uce.edu.ec/handle/25000/27854. Fecha de consulta: 12 de marzo
de 2023.
Corral, R. (2001). El concepto de zona de desarrollo próximo:
una interpretación. Revista Cubana de Psicología, 18(1), 72-76.
Essel, H. B., Vlachopoulos, D., Tachie-Menson, A., Johnson, E. E., & Baah, P. K. (2022). The impact of a virtual teaching
assistant (chatbot) on students’ learning in Ghanaian higher education. International
Journal Education Technology Higher Education, 19(57). https://doi.org/10.1186/s41239-022-00362-6
Fernández-Ferrer, M. (2023). Chatbots en educación.
Tendencias actuales y desafíos futuros. Barcelona: LMI, en (Colección Transmedia XXI). [En línea]. Disponible en:
https://www.lmi-cat.net/sites/default/files/Chatbots_en_Educacion.pdf.
Fecha de consulta: 25 de noviembre de 2023.
Følstad, A. & Brandtzaeg,
P. B. (2020). Users’ experiences with chatbots: findings from a questionnaire study. Quality and User Experience,
5(3). https://doi.org/10.1007/s41233-020-00033-2
Fornell-Haugeland, I. K., Følstad,
A., Taylor, C., & Bjørkli, C. A. (2022). Understanding the user experience
of customer service chatbots: An experimental study of chatbot interaction
design. International Journal of
Human-Computer Studies, 161,
102788. https://doi.org/10.1016/j.ijhcs.2022.102788
Google-Cloud (2022). Documentación Dialogflow. [En línea].
Disponible en: https://cloud.google.com/dialogflow/docs?hl=es-419. Fecha de
consulta: 23 de septiembre de 2022.
Gupta, S. & Chen, Y. (2022). Supporting Inclusive Learning Using
Chatbots? A Chatbot-Led Interview Study. Journal of Information Systems
Education, 33(1), 98-108. https://jise.org/Volume33/n1/JISE2022v33n1pp98-108.html
Hernández-Pérez, M. y Llull-Céspedes,
L. A. (2021). Definición de un proceso ingenieril para el desarrollo de un chatbot a partir de buenas prácticas establecidas. Revista cubana de transformación digital, 3(2),
90-109. https://doi.org/10.5281/zenodo.5546033
Hobert, S. (2019). Say Hello to
‘Coding Tutor’! Design and Evaluation of a Chatbot-Based Learning System
Supporting Students to Learn to Program. In J. V. Brocke, A. Mitchell, & B.
Tan (Eds.), Proceedings of the International Conference on Information
Systems (ICIS). Digital learning environment and future is curriculum (pp.
1-17). AIS eLibrary.
Jiménez-Flores, O. J., Jiménez-Flores, J. C.,
Gutiérrez-Rojas, Y. V. y Jiménez-Flores, V. J. (2018). Métricas de Evaluación
para Chatbots, orientadas a optimizar las experiencias de su uso en las redes
sociales. Revista Ciencia y Tecnología, 4(Número Especial), 185-191. https://revistas.ujcm.edu.pe/index.php/rctd/article/view/134/118
Jones, E. A., Jimenez, C. A.,
Ormeño, P. I. y Poblete, N. A. (2022). Metodologías activas para la enseñanza
de programación a estudiantes de ingeniería
civil informática. Formación Universitaria, 15(3), 53-60. http://dx.doi.org/10.4067/S0718-50062022000300053
Justo-López, A. C., Aguilar-Salinas, W. E.,
de-las-Fuentes-Lara, M. y Astorga-Vargas, M. A. (2021). Uso de videos
educativos en la materia de programación durante la etapa básica de ingeniería.
Formación Universitaria, 14(6), 51-64. http://dx.doi.org/10.4067/S0718-50062021000600051
Lalwani, T., Bhalotia,
S., Pal, A., Rathod, V., & Bisen, S.
(2018). Implementation of a Chatbot System using AI and NLP. International
Journal of Innovative Research in Computer Science & Technology (IJIRCST), 6(3). https://doi.org/10.2139/ssrn.3531782
Liu, C. C., Liao, M. G., Chang, C.
H., & Lin, H. M. (2022). An analysis of children’ interaction with an AI
chatbot and its impact on their interest in reading. Computers &
Education, 189(104576). https://doi.org/10.1016/j.compedu.2022.104576
Long, J., Yuan, M. J., & Lee, H.
M. (2019). How to program a chatbot – An introductory project and student
perceptions. Issues in Informing Science and Information Technology, 16,
1-31. https://doi.org/10.28945/4282
Mad-Daud, S. H., Ibrahim-Teo, N. H.,
& Mat-Zain, N. H. (2020). E-JAVA Chatbot for Learning Programming Language:
A Post-Pandemic Alternative Virtual Tutor. International Journal of Emerging
Trends in Engineering Research, 8(7). https://doi.org/10.30534/ijeter/2020/67872020
Man, S. C., Matei, O., Faragau, T., Andreica, L., & Daraba, D. (2023). The Innovative Use of Intelligent
Chatbot for Sustainable Health Education Admission Process: Learnt Lessons and
Good Practices. Application Science, 13(2415). https://doi.org/10.3390/app13042415
Mateos-Sánchez, M., Melo, A. C.,
Blanco, L. S., & García, A. M. F. (2022). Chatbot, as Educational and
Inclusive Tool for People with Intellectual Disabilities. Sustainability,
14(1520). https://doi.org/10.3390/su14031520
Mora-Blasco, D. (2021). Desarrollo de un chatbot para la
evaluación de la usabilidad y la experiencia de usuario de una plataforma web
de ayuda a la decisión médica. Trabajo Fin de Grado, Universitat
Politècnica de València, España.
Nandeesh, M., Nagesh, S., Amruthkumar,
M., Nikhitha, G. J., & Suma, P. (2021). Real-time AI assistant for
educational institutions. International Research Journal of Engineering and
Technology (IRJET), 08(06). https://www.irjet.net/archives/V8/i6/IRJET-V8I6769.pdf
Neumann, A. T., Arndt, T., Köbi,s L., Meissner, R., Martin,
A., de-Lange, P., Pengel, N., Klamma, R., &
Wollersheim, H. W. (2021). Chatbots as a Tool to Scale Mentoring Processes:
Individually Supporting Self-Study in Higher Education. Frontiers Artificial
Intelligence, 4, 668220. https://doi.org/10.3389/frai.2021.668220
Nguyen, T. T., Le, A. D., Hoang, H.
T., & Nguyen, T. (2021). NEU-chatbot: Chatbot for admission of National Economics University. Computers and
Education: Artificial Intelligence, 2(100036). https://doi.org/10.1016/j.caeai.2021.100036
Okonkwo, Ch. W. & Ade-Ibijola, A. (2022). Revision-Bot: A Chatbot for Studying
Past Questions in Introductory Programming. In
International Journal of Computer Science, 49(3).
Olausson, O. (2019). Master Thesis:
Department of Computing Science, Umea University, Sweden. [En línea]. Disponible en:
https://www.diva-portal.org/smash/get/diva2:1359685/FULLTEXT01.pdf.
Fecha de consulta: 20 de abril de 2023.
Olmedo-Carpio, A. (2021). Análisis de Necesidades, Diseño y
Desarrollo de un Chatbot para la Universidad de Sevilla. Escuela Politécnica de
Sevilla, España.
Pawlik, Ł., Płaza, M., Deniziak, S., & Boksa, E.
(2022). A
method for improving bot effectiveness by recognizing implicit customer intent
in contact centre conversations. Speech Communication, 143(2022),
33-45, https://doi.org/10.1016/j.specom.2022.07.003.
Radziwill, N. M. & Benton, M. C.
(2017). Evaluating Quality of Chatbots and Intelligent Conversational Agents. ArXiv, abs/1704.04579. https://doi.org/10.48550/arXiv.1704.04579
Ramírez-García, J. J. (2021). Estudio de la experiencia de usuario en los sistemas de
gestión del aprendizaje. IE Revista de Investigación Educativa de la REDIECH,
12(e1358). https://doi.org/ie_rie_rediech.v12i0.1358
Ren, R., Castro, J. W., Acuña, S. T., & de-Lara, J.
(2019). Usability
of Chatbots: A Systematic Mapping Study. Conference: The 31st International
Conference on Software Engineering and Knowledge Engineering, 29(11n12),
1673-1702. https://doi.org/10.18293/SEKE2019-029.
Safitri, F., Hardini, T. I., Setiadi, R.,
& Mutiarsih, Y. (2021). Usability Measurement:
Chatbot as a Pedagogical Support for Learning French Grammar. Proceedings of
the Fifth International Conference on Language,
Literature, Culture, and Education (ICOLLITE 2021), 595. https://doi.org/10.2991/assehr.k.211119.042.
Soares, J. & de-Freitas, L. (2022). C-BOT: Um protótipo de chatterbot para o ensino de programação. En J. Viterbo-Filho
(Ed.), Anais do XXXIII Simpósio Brasileiro de
Informática na Educação (pp.
1151-1162). Porto Alegre: SBC. https://doi.org/10.5753/sbie.2022.225711
Suganya, T., Ashwin-Kumar, N. S., & Kavijha, R. (2020). Exploring
Chatbot Implementation Methodologies used in Customer Support Industry, in International Journal of Recent Technology and
Engineering (IJRTE). [En línea]. Disponible en: https://www.ijrte.org/wp-content/uploads/papers/v8i6/F8895038620.pdf.
Fecha de consulta: 23 de septiembre de 2022.
Zhang, J., Oh, Y. J., Lange, P., Yu,
Z., & Fukuoka, Y. (2020). Artificial Intelligence Chatbot Behavior Change
Model for Designing Artificial Intelligence Chatbots
to Promote Physical Activity and a Healthy Diet: Viewpoint. Journal of medical internet research,
22(9). e22845. https://doi.org/10.2196/22845