{"id":{"repo_id":"upc-spain","oai_identifier":"oai:repositorio.upct.es:10317/11200"},"canonical_url":"https://search.dev.ndltd.org/etd/upc-spain/oai:repositorio.upct.es:10317/11200","repository":{"repo_id":"upc-spain","name":"Universidad Politécnica de Cartagena","base_url":"http://repositorio.upct.es/oai/request"},"display":{"title":"Towards an AI endowed visual neuroprosthesis for the blind: development and first-in-human implementation of a deep learning intracortical neural interface","abstract":"[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En esta tesis doctoral nos hemos propuesto ir más allá del estado del arte en el desarrollo de una neuroprótesis visual cortical para personas ciegas. En el momento presente, una neuroprótesis visual cortical es un proyecto desafiante, aunque varios grupos de investigación en todo el mundo trabajan para avanzar hacia nuestra meta, y esperamos los desarrollos y el conocimiento construido que exponemos en este manuscrito contribuya hacia ésta. Nuestro trabajo se sitúa en la conjunción entre neurociencia, ingeniería neuronal e inteligencia artificial . Con el fin de elucidar cómo codificar información visual en el cerebro de una forma bio inspirada, desarrollamos una retina artificial basada en Deep Learning, capaz de imitar las respuestas de células ganglionares de una retina biológica ante estímulos visuales espaciotemporales. Para extraer la información más relevante de una escena visual compleja y dinámica en cada situación que se presenta al usuario de la prótesis, usamos modelos Deep Learning específicos para diferentes contextos y necesidades presentes en la vida diaria (e. g. navegación, reconocimiento de emociones), como lo son los modelos de detección de objetos o segmentación semántica. Además, para codificar ésta información en el cerebro, e implementamos los modelos desarrollados de retina artificial desarrollados para modular los parámetros de estimulación eléctrica enviados al cerebro por un neuroestimulador a través de un array de Utah implantado en el córtex visual. Hemos desarrollado e implementado una interfaz neuronal software/hardware compuesto por una cámara montada en unas gafas conectadas a un sistema de edge-computing que procesa el vídeo obtenido usando los modelos de Deep Learning descritos, y transforma los elementos más relevantes de la escena en pulsos eléctricos enviados al cerebro a través del electrodo de Utah. Finalmente, se ha estudiado la fiabilidad y las percepciones visuales evocadas por un implante cortical basado en microelectrodos en una persona voluntaria ciega. De acuerdo a nuestro conocimiento, en este trabajo doctoral hemos desarrollado e implementado por primera vez en humanos una neuroprótesis visual cortical para ciegos basada en Inteligencia Artificial: Neurolight. [ENG] This doctoral dissertation has been presented in the form of thesis by publication. In this doctoral thesis, I aim to step further beyond state-of-the-art towards the development of a cortical neuroprosthesis for the blind. Currently, a fully working visual cortical neuroprosthesis able to help blind people to recover a form of vision is still a challenging ongoing project, although strong efforts are being made by research groups all over the world. This work is situated at the conjunction between neuroscience, neural engineering, and artificial intelligence. In arder to learn how to write into the brain, we hypothesize and develop a Deep Learning (DL) artificial retina able to mimic ganglion cells' firing rates in response to spatiotemporal light patters. We developed and tested a hardware/software neural interface pipeline composed of a camera integrated within the user's pair of glasses, an edge-computing system to process the video feed -where its Deep Learning capabilities abide- and transform the scene's most relevant visual features into commands to a neurostimulator's which drives electrical pulses to the brain through an Utah array. To extract the most relevant information from a complex and dynamic visual environment, we used task-oriented DL models, such as object detection and semantic segmentation models. Furthermore, we propase and deploy computational neural encoding models such an artificial retina, to drive electrical stimulation pulse patterns that are delivered into the neural tissue through a Utah array, to encade this information into the brain. Finally, we discuss the evoked visual percepts generated by a multielectrode intracortical implant in a first-in-human trial. To the best of our knowledge, we have developed and implemented the first Al driven intracortical visual neuroprosthesis for the blind: N eurolight.","abstract_html":"[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En esta tesis doctoral nos hemos propuesto ir más allá del estado del arte en el desarrollo de una neuroprótesis visual cortical para personas ciegas. En el momento presente, una neuroprótesis visual cortical es un proyecto desafiante, aunque varios grupos de investigación en todo el mundo trabajan para avanzar hacia nuestra meta, y esperamos los desarrollos y el conocimiento construido que exponemos en este manuscrito contribuya hacia ésta. Nuestro trabajo se sitúa en la conjunción entre neurociencia, ingeniería neuronal e inteligencia artificial . Con el fin de elucidar cómo codificar información visual en el cerebro de una forma bio inspirada, desarrollamos una retina artificial basada en Deep Learning, capaz de imitar las respuestas de células ganglionares de una retina biológica ante estímulos visuales espaciotemporales. Para extraer la información más relevante de una escena visual compleja y dinámica en cada situación que se presenta al usuario de la prótesis, usamos modelos Deep Learning específicos para diferentes contextos y necesidades presentes en la vida diaria (e. g. navegación, reconocimiento de emociones), como lo son los modelos de detección de objetos o segmentación semántica. Además, para codificar ésta información en el cerebro, e implementamos los modelos desarrollados de retina artificial desarrollados para modular los parámetros de estimulación eléctrica enviados al cerebro por un neuroestimulador a través de un array de Utah implantado en el córtex visual. Hemos desarrollado e implementado una interfaz neuronal software/hardware compuesto por una cámara montada en unas gafas conectadas a un sistema de edge-computing que procesa el vídeo obtenido usando los modelos de Deep Learning descritos, y transforma los elementos más relevantes de la escena en pulsos eléctricos enviados al cerebro a través del electrodo de Utah. Finalmente, se ha estudiado la fiabilidad y las percepciones visuales evocadas por un implante cortical basado en microelectrodos en una persona voluntaria ciega. De acuerdo a nuestro conocimiento, en este trabajo doctoral hemos desarrollado e implementado por primera vez en humanos una neuroprótesis visual cortical para ciegos basada en Inteligencia Artificial: Neurolight. [ENG] This doctoral dissertation has been presented in the form of thesis by publication. In this doctoral thesis, I aim to step further beyond state-of-the-art towards the development of a cortical neuroprosthesis for the blind. Currently, a fully working visual cortical neuroprosthesis able to help blind people to recover a form of vision is still a challenging ongoing project, although strong efforts are being made by research groups all over the world. This work is situated at the conjunction between neuroscience, neural engineering, and artificial intelligence. In arder to learn how to write into the brain, we hypothesize and develop a Deep Learning (DL) artificial retina able to mimic ganglion cells' firing rates in response to spatiotemporal light patters. We developed and tested a hardware/software neural interface pipeline composed of a camera integrated within the user's pair of glasses, an edge-computing system to process the video feed -where its Deep Learning capabilities abide- and transform the scene's most relevant visual features into commands to a neurostimulator's which drives electrical pulses to the brain through an Utah array. To extract the most relevant information from a complex and dynamic visual environment, we used task-oriented DL models, such as object detection and semantic segmentation models. Furthermore, we propase and deploy computational neural encoding models such an artificial retina, to drive electrical stimulation pulse patterns that are delivered into the neural tissue through a Utah array, to encade this information into the brain. Finally, we discuss the evoked visual percepts generated by a multielectrode intracortical implant in a first-in-human trial. To the best of our knowledge, we have developed and implemented the first Al driven intracortical visual neuroprosthesis for the blind: N eurolight.","abstract_has_math":false,"creators":["Lozano Ortega, Antonio Manuel"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2022,"date_issued":"2022","date_published":"2022","updated_at":"2026-07-24T05:39:19Z","subjects":["Prótesis visuales","Aprendizaje","Learning","Neurobiología","Neurociencia","Ingeniería neuronal","Inteligencia artificial","Convolutional neural networks","Deep learning","Neural coding"],"languages":[],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["hdl:10317/11200"],"render_values":[{"text":"hdl:10317/11200","href":null,"code":true}]}]},"links":{"outbound_url":"https://doi.org/10.31428/10317/11200","outbound_label":"DOI","outbound_source":"dc:identifier.doi"},"metadata_groups":[{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date.issued","label":"Date","values":["2022"]},{"key":"dc:type","label":"Dc Type","values":["info:eu-repo/semantics/doctoralThesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Prótesis visuales","Aprendizaje","Learning","Neurobiología","Neurociencia","Ingeniería neuronal","Inteligencia artificial","Convolutional neural networks","Deep learning","Neural coding"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["hdl:10317/11200"]},{"key":"dc:identifier.doi","label":"DOI","values":["10.31428/10317/11200"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description.other","label":"Dc Description Other","values":["[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En esta tesis doctoral nos hemos propuesto ir más allá del estado del arte en el desarrollo de una neuroprótesis visual cortical para personas ciegas. En el momento presente, una neuroprótesis visual cortical es un proyecto desafiante, aunque varios grupos de investigación en todo el mundo trabajan para avanzar hacia nuestra meta, y esperamos los desarrollos y el conocimiento construido que exponemos en este manuscrito contribuya hacia ésta. Nuestro trabajo se sitúa en la conjunción entre neurociencia, ingeniería neuronal e inteligencia artificial . Con el fin de elucidar cómo codificar información visual en el cerebro de una forma bio inspirada, desarrollamos una retina artificial basada en Deep Learning, capaz de imitar las respuestas de células ganglionares de una retina biológica ante estímulos visuales espaciotemporales. Para extraer la información más relevante de una escena visual compleja y dinámica en cada situación que se presenta al usuario de la prótesis, usamos modelos Deep Learning específicos para diferentes contextos y necesidades presentes en la vida diaria (e. g. navegación, reconocimiento de emociones), como lo son los modelos de detección de objetos o segmentación semántica. Además, para codificar ésta información en el cerebro, e implementamos los modelos desarrollados de retina artificial desarrollados para modular los parámetros de estimulación eléctrica enviados al cerebro por un neuroestimulador a través de un array de Utah implantado en el córtex visual. Hemos desarrollado e implementado una interfaz neuronal software/hardware compuesto por una cámara montada en unas gafas conectadas a un sistema de edge-computing que procesa el vídeo obtenido usando los modelos de Deep Learning descritos, y transforma los elementos más relevantes de la escena en pulsos eléctricos enviados al cerebro a través del electrodo de Utah. Finalmente, se ha estudiado la fiabilidad y las percepciones visuales evocadas por un implante cortical basado en microelectrodos en una persona voluntaria ciega. De acuerdo a nuestro conocimiento, en este trabajo doctoral hemos desarrollado e implementado por primera vez en humanos una neuroprótesis visual cortical para ciegos basada en Inteligencia Artificial: Neurolight. [ENG] This doctoral dissertation has been presented in the form of thesis by publication. In this doctoral thesis, I aim to step further beyond state-of-the-art towards the development of a cortical neuroprosthesis for the blind. Currently, a fully working visual cortical neuroprosthesis able to help blind people to recover a form of vision is still a challenging ongoing project, although strong efforts are being made by research groups all over the world. This work is situated at the conjunction between neuroscience, neural engineering, and artificial intelligence. In arder to learn how to write into the brain, we hypothesize and develop a Deep Learning (DL) artificial retina able to mimic ganglion cells' firing rates in response to spatiotemporal light patters. We developed and tested a hardware/software neural interface pipeline composed of a camera integrated within the user's pair of glasses, an edge-computing system to process the video feed -where its Deep Learning capabilities abide- and transform the scene's most relevant visual features into commands to a neurostimulator's which drives electrical pulses to the brain through an Utah array. To extract the most relevant information from a complex and dynamic visual environment, we used task-oriented DL models, such as object detection and semantic segmentation models. Furthermore, we propase and deploy computational neural encoding models such an artificial retina, to drive electrical stimulation pulse patterns that are delivered into the neural tissue through a Utah array, to encade this information into the brain. Finally, we discuss the evoked visual percepts generated by a multielectrode intracortical implant in a first-in-human trial. To the best of our knowledge, we have developed and implemented the first Al driven intracortical visual neuroprosthesis for the blind: N eurolight."]},{"key":"dc:title","label":"Title","values":["Towards an AI endowed visual neuroprosthesis for the blind: development and first-in-human implementation of a deep learning intracortical neural interface"]}]}],"canonical_facts":{"dc:date.issued":["2022"],"dc:description.other":["[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En esta tesis doctoral nos hemos propuesto ir más allá del estado del arte en el desarrollo de una neuroprótesis visual cortical para personas ciegas. En el momento presente, una neuroprótesis visual cortical es un proyecto desafiante, aunque varios grupos de investigación en todo el mundo trabajan para avanzar hacia nuestra meta, y esperamos los desarrollos y el conocimiento construido que exponemos en este manuscrito contribuya hacia ésta. Nuestro trabajo se sitúa en la conjunción entre neurociencia, ingeniería neuronal e inteligencia artificial . Con el fin de elucidar cómo codificar información visual en el cerebro de una forma bio inspirada, desarrollamos una retina artificial basada en Deep Learning, capaz de imitar las respuestas de células ganglionares de una retina biológica ante estímulos visuales espaciotemporales. Para extraer la información más relevante de una escena visual compleja y dinámica en cada situación que se presenta al usuario de la prótesis, usamos modelos Deep Learning específicos para diferentes contextos y necesidades presentes en la vida diaria (e. g. navegación, reconocimiento de emociones), como lo son los modelos de detección de objetos o segmentación semántica. Además, para codificar ésta información en el cerebro, e implementamos los modelos desarrollados de retina artificial desarrollados para modular los parámetros de estimulación eléctrica enviados al cerebro por un neuroestimulador a través de un array de Utah implantado en el córtex visual. Hemos desarrollado e implementado una interfaz neuronal software/hardware compuesto por una cámara montada en unas gafas conectadas a un sistema de edge-computing que procesa el vídeo obtenido usando los modelos de Deep Learning descritos, y transforma los elementos más relevantes de la escena en pulsos eléctricos enviados al cerebro a través del electrodo de Utah. Finalmente, se ha estudiado la fiabilidad y las percepciones visuales evocadas por un implante cortical basado en microelectrodos en una persona voluntaria ciega. De acuerdo a nuestro conocimiento, en este trabajo doctoral hemos desarrollado e implementado por primera vez en humanos una neuroprótesis visual cortical para ciegos basada en Inteligencia Artificial: Neurolight. [ENG] This doctoral dissertation has been presented in the form of thesis by publication. In this doctoral thesis, I aim to step further beyond state-of-the-art towards the development of a cortical neuroprosthesis for the blind. Currently, a fully working visual cortical neuroprosthesis able to help blind people to recover a form of vision is still a challenging ongoing project, although strong efforts are being made by research groups all over the world. This work is situated at the conjunction between neuroscience, neural engineering, and artificial intelligence. In arder to learn how to write into the brain, we hypothesize and develop a Deep Learning (DL) artificial retina able to mimic ganglion cells' firing rates in response to spatiotemporal light patters. We developed and tested a hardware/software neural interface pipeline composed of a camera integrated within the user's pair of glasses, an edge-computing system to process the video feed -where its Deep Learning capabilities abide- and transform the scene's most relevant visual features into commands to a neurostimulator's which drives electrical pulses to the brain through an Utah array. To extract the most relevant information from a complex and dynamic visual environment, we used task-oriented DL models, such as object detection and semantic segmentation models. Furthermore, we propase and deploy computational neural encoding models such an artificial retina, to drive electrical stimulation pulse patterns that are delivered into the neural tissue through a Utah array, to encade this information into the brain. Finally, we discuss the evoked visual percepts generated by a multielectrode intracortical implant in a first-in-human trial. To the best of our knowledge, we have developed and implemented the first Al driven intracortical visual neuroprosthesis for the blind: N eurolight."],"dc:identifier":["hdl:10317/11200"],"dc:identifier.doi":["10.31428/10317/11200"],"dc:subject":["Prótesis visuales","Aprendizaje","Learning","Neurobiología","Neurociencia","Ingeniería neuronal","Inteligencia artificial","Convolutional neural networks","Deep learning","Neural coding"],"dc:title":["Towards an AI endowed visual neuroprosthesis for the blind: development and first-in-human implementation of a deep learning intracortical neural interface"],"dc:type":["info:eu-repo/semantics/doctoralThesis"]},"updated_at":"2026-07-24T05:39:19Z"}