Około dwóch miesięcy temu na Seminarium Filozofii Nauki w Politechnice Warszawskiej gościliśmy Profesora André Włodarczyka, który z perspektywy swoich teorii semantycznych omówił szereg zagadnień związanych z przełomową dla rozwoju sztucznej inteligencją koncepcją modeli LLM (Large Language Models).
Myślę, że warto dotknąć tych zagadnień również w blogu.
Za punkt wyjścia dyskusji niech posłuży nam poszerzony abstrakt wygłoszonego na seminarium referatu. Zachęcam, aby odnieść się zarówno do kwestii w nim poruszonych, jak również innych kwestii, które pojawiają się na pograniczu lingwistyki, informatyki i filozofii nauki.
********* A OTO ABSTRAKT SEMINARYJNEGO REFERATU ********
Od kilku lat modele LLM (Large Language Models) robią furorę w internecie, ponieważ prezentowane są jako przejawy „Sztucznej Inteligencji”, a dokładniej: sztucznego myślenia w językach naturalnych. Czym więc LLM-y są oraz do czego mogą, ale i do czego nie mogą służyć w praktycznych zastosowaniach zwłaszcza podczas badań naukowych. Jak doszło do tego, że możliwość przekładu automatycznego i nawet dialogu człowieka z maszyną, poprawnego w językach naturalnych, pojawiła się tak szybko, bo ok. 3/4 wieku po zbudowaniu pierwszych komputerów?
W referacie nie będzie mowy ani o szczegółach dotyczących wyuczania (training) głębokich sieci neuropodobnych (Deep Neural Networks – DNN) ani o licznych algorytmach zwanych transformerami, które w połączeniu z DNN tworzą obecne LLM-y. Jednakże wskażę na zaawansowane programy badawcze zarówno takie, które należą już do tradycji badań nad przetwarzaniem języków naturalnych (NLP) jak i takie, które stanowią podstawy do budowania nieodzownych dla LLM-ów transformerów w różnych postaciach najnowszych rozwiązań.
Ponadto referat będzie także próbą wprowadzenia w problematykę ogólnego językoznawstwa, którego sedna można się dopatrywać w trudnościach, z jakimi borykają się dzisiaj nie tylko lingwiści, ale naukowcy, których obszary zainteresowań są między innymi zawarte w pytaniach takich, jak:
– czy możliwe jest sformułowanie definicji języka jako przedmiotu w rzeczywistości językowej w taki sposób, żeby mógł się stać obiektem nauk ścisłych?
– czy w skład gramatyk ok. 7.000 języków świata wchodzą reguły i struktury, które są jednakowe dla nich wszystkich?
– czy człowiek myśli w języku naturalnym czy też w jakimś specyfiznym języku myśli?
Badania nad językiem we wszystkich dziedzinach nauki i jego wytworami trwają więc nadal, tym bardziej, że wiedza o języku (choć w niektórych przypadkach skuteczna bardziej niż kiedykolwiek), jest dla nas niedostępna w sensie pojęciowym i inferencyjnym. Twórczość w nauce nie polega jednak na „halucynacjach”, lecz wymaga generowania nowych pomysłów, odkryć i rozwiązań, które poszerzają naszą wiedzę i zrozumienie świata.
Słowem: skoro LLM-y są pozamykane w czarnych skrzynkach – to pozostaje nam niebłahe zadanie do wykonania: rozbić czarną skrzynkę. Wskażę na ważniejsze projekty badawcze w tej materii oraz przedstawię w ogólnym zarysie inicjatywę opracowania komputerowych metod celem zbudowania narzędzi służących do zinformatyzowania badań lingwistycznych w ramach Ośrodka badań nad lingwistyką teoretyczną i stosowaną (Centre de linguistique théorique et appliquée – CELTA) na Sorbonie w latach 2004-2014.
To właśnie w ramach tej inicjatywy powstały teorie Meta-informative Centering (MIC) i (Associative Semantics (AS), które zostały połączone i rozwinięte pod ogólną nazwą Distributed Grammar (Gramatyka Rozproszona). Omówię w szczegółach m.in. teorię uogólnionej predykacji, jako że – z jednej strony – stanowi ona rozwiązanie od tysiącleci znanego problemu filozoficznego – zaś z drugiej strony – wyjaśnia, w jaki sposób „centra uwagi” (CA) czy attencje strukturyzują wypowiedzi, które kierują skupianiem uwagi rozmówców. Jest to zgodne z poglądem na uwagę jako selektywnym mechanizmie w komunikacji językowej w ramach urządzeń LLM.
Zalecane LINKI
2010 Time for a sea-change in linguistics
2013 Meta-informative Centering in Utterances
2016 O Pragmatycznej naturze predykacji
2015 Informatyka szansą na rozwój naukowej lingwistyki
2022 Concepts and Categories: A Data Science Approach to Semiotics
******************************************************************
Najserdeczniej zapraszamy do dyskusji — André Włodarczyk i Paweł Stacewicz.