Neuronaukowcy uczą komputery odczytywania słów prosto z mózgów ludzi.
Kelly Servick, pisząc dla Science, relacjonował w tym tygodniu trzy artykuły opublikowane na serwerze preprint bioRxiv, w których trzy różne zespoły badaczy zademonstrowały, że mogą dekodować mowę z nagrań strzelających neuronów. W każdym badaniu elektrody umieszczone bezpośrednio na mózgu rejestrowały aktywność neuronalną, podczas gdy pacjenci po operacji mózgu słuchali mowy lub czytali słowa na głos. Następnie badacze próbowali dowiedzieć się, co pacjenci słyszą lub mówią. W każdym przypadku naukowcom udało się przekształcić aktywność elektryczną mózgu w co najmniej nieco zrozumiałe pliki dźwiękowe.
Pierwszy artykuł, opublikowany w bioRxiv 10 października 2018 r., Opisuje eksperyment, w którym naukowcy odtwarzali nagrania mowy u pacjentów z padaczką, którzy byli w trakcie operacji mózgu. (Nagrania neuronowe wykonane w eksperymencie musiały być bardzo szczegółowe, aby mogły zostać zinterpretowane. I ten poziom szczegółowości jest dostępny tylko w rzadkich okolicznościach, gdy mózg jest wystawiony na powietrze i elektrody są umieszczane bezpośrednio na nim, na przykład podczas operacji mózgu .)
Gdy pacjenci słuchali plików dźwiękowych, naukowcy zarejestrowali neurony strzelające w części mózgu pacjentów przetwarzające dźwięk. Naukowcy wypróbowali wiele różnych metod przekształcania danych wyzwalających neurony w mowę i stwierdzili, że „głębokie uczenie się” - w którym komputer próbuje rozwiązać problem mniej lub bardziej bez nadzoru - działa najlepiej. Gdy odtwarzali wyniki za pomocą wokodera, który syntetyzuje ludzkie głosy, dla grupy 11 słuchaczy, osoby te były w stanie poprawnie zinterpretować słowa w 75 procentach przypadków.
Tutaj możesz słuchać dźwięku z tego eksperymentu.
Drugi artykuł, opublikowany 27 listopada 2018 r., Opierał się na nagraniach neuronowych od osób poddawanych zabiegom chirurgicznym w celu usunięcia guzów mózgu. Gdy pacjenci czytają na głos słowa z pojedynczą sylabą, badacze zarejestrowali zarówno dźwięki wydobywające się z ust uczestników, jak i neurony wystrzeliwujące się w obszarach mózgu odpowiedzialnych za wytwarzanie mowy. Zamiast trenować komputery głęboko na każdym pacjencie, badacze nauczyli sztuczną sieć neuronową przekształcania nagrań neuronowych w audio, pokazując, że wyniki były co najmniej racjonalnie zrozumiałe i podobne do nagrań wykonanych przez mikrofony. (Dźwięk z tego eksperymentu jest tutaj, ale należy go pobrać jako plik zip).
Trzeci artykuł, opublikowany 9 sierpnia 2018 r., Polegał na nagraniu części mózgu, która przekształca określone słowa, które osoba decyduje się wypowiedzieć na ruchy mięśni. Chociaż żadne nagranie z tego eksperymentu nie jest dostępne w Internecie, naukowcy zgłosili, że byli w stanie zrekonstruować całe zdania (również zarejestrowane podczas operacji mózgu u pacjentów z epilepsją) i że osoby, które słuchały zdań, były w stanie poprawnie zinterpretować je przy wielokrotnym wyborze test (spośród 10 wyborów) 83 procent czasu. Metoda tego eksperymentu polegała na identyfikacji wzorców zaangażowanych w tworzenie pojedynczych sylab, a nie całych słów.
Celem wszystkich tych eksperymentów jest, aby pewnego dnia ludzie, którzy stracili zdolność mówienia (z powodu stwardnienia zanikowego bocznego lub podobnych warunków), mogli mówić przez interfejs komputer-mózg. Jednak nauka dla tej aplikacji jeszcze nie istnieje.
Interpretacja wzorców neuronalnych osoby wyobrażającej sobie mowę jest bardziej skomplikowana niż interpretacja wzorców osoby słuchającej lub produkującej mowę, donosi Science. (Jednak autorzy drugiego artykułu stwierdzili, że interpretacja aktywności mózgu osoby wyobrażającej sobie mowę może być możliwa).
Ważne jest również, aby pamiętać, że są to małe badania. Pierwszy artykuł opierał się na danych pobranych od zaledwie pięciu pacjentów, podczas gdy drugi dotyczył sześciu pacjentów, a trzeci tylko trzech. I żadne nagranie neuronowe nie trwało dłużej niż godzinę.
Jednak nauka idzie naprzód, a urządzenia sztucznej mowy podłączone bezpośrednio do mózgu wydają się w pewnym momencie na drodze realną możliwością.
