Sentiment Analysis and its Application in Managerial Decision Making

Abstract

Many cities around the world are aspiring to become Smart by deploying various information and communication technologies in order to support decision making. Smart City initiatives are often an interplay of local authorities and businesses involved in this industry.

The opinions of ordinary citizens are often given little weight. This could be due to the costs and difficulties associated with collecting and analyzing these opinions. Many cities use surveys, but this data collection method has many limitations, such as the enforcement of a closed set of questions and answers or limited temporal scope.

Free-form text published on social media could be used as a complementary source of citizen opinions. However, processing these data is even more difficult than evaluating survey results. Therefore, this dissertation proposes a novel social media analysis framework for municipal decision making. The framework consists of three main components. First, it uses topic modeling methods to identify topics discussed by social media users at a given location. Second, it uses sentiment analysis to determine the degree and orientation of the sentiment polarity of social media content. Third, it aggregates topic and sentiment information to provide an overall high-level view on the challenges and opportunities the municipality is facing.

The aggregation component is the main methodological contribution of the dissertation. It uses fuzzy sets to capture the uncertainty stemming from different people having different opinions on the same topic. The framework also determines the level of positive and negative opinion expressed towards each topic as a degree of similarity between the fuzzy set representing sentiment towards a specific topic and fuzzy sets representing positive and negative opinion.

The functionality of the framework is demonstrated on synthetic data and more importantly on real-world data extracted from Twitter for two Czech cities: Ostrava and Brno. Several conclusions useful for municipal decision making are drawn from the analysis. The framework is then compared with a naive approach, and it is shown that it provides more information. Finally, a the dissertation presents a simple web application that illustrates how the framework results can be presented in a user-friendly form.

Mnoho měst na celém světě se snaží stát městy "chytrými", a proto ve velkém rozsahu nasazují různé informační a komunikační technologie, které jím pomáhají v rozhodování. Tyto "chytré" iniciativy jsou ale často výsledkem vyjednávaní pouze dvou skupin: místních autorit a firem, které v tomto odvětví působí. Názory obyvatel hrají pouze malou roli. To může být způsobené vysokými náklady a náročností sběru a vyhodnocování těchto názorů. Mnoho měst k tomuto účelů využívá dotazníky. Tato metoda má ale své nedostatky, jakými jsou například omezená množina otázek a možných odpovědí nebo časové limitace.

Jako doplňkový zdroj názorů obyvatel je možné použít sociální sítě, které často obsahují volně psaný text. Zpracování těchto dat ale může být ještě náročnější než zpracování dotazníků. Cílem této disertační práce je proto vytvoření metodologického rámce poskytujícího rozhodovatelům na úrovni měst pohled na názory obyvatel na sociálních sítích. Navrhovaný rámec se skládá ze tří části: (1) identifikace témat, které jsou předmětem diskuse na sociálních sítích pomocí tzv. topic modeling metod, (2) určení orientace a stupně polarity názorů pomocí metod pro analýzu sentimentu a (3) agregace informací o tématech a sentimentu poskytující regionální samosprávě přehled o problémech a příležitostech, kterým obyvatele čelí.

Agregační komponenta představuje hlavní metodologický přínos disertace. Pomocí fuzzy množin zachycuje nejistotu plynoucí z rozdílných názorů obyvatel na stejné téma. Rámec navíc umožňuje stanovení úrovně pozitivního a negativního sentimentu vůči danému tématu. Tato úroveň se počítá jako míra podobnosti mezi fuzzy množinou reprezentující sentiment vůči specifickému tématu a fuzzy množinami reprezentujícími pozitivní a negativní sentiment.

Funkčnost rámce je demonstrována na syntetických i reálných datech, která byla získaná ze sociální sítě Twitter pro dvě český města: Ostravu a Brno. Z analýzy pomocí navrženého rámce bylo možné pro samosprávy získat několik konkrétních doporučení. Rámec byl taky porovnán s naivním přístupem, v porovnaní s který poskytuje pro rozhodovatele víc informací. Na závěr byla vytvořena jednoduchá webová aplikace prezentující výsledky analýzy ve formě přívětivé pro koncové uživatele.