Sztuczna inteligencja jako element wsparcia pracy badawczej. Analiza porównawcza narzędzi Scopus AI i Scholar GPT
DOI:
https://doi.org/10.33077/uw.24511617.sm.2024.4.817Słowa kluczowe:
biblioteki akademickie, media społecznościowe, modele językowe, Scholar GPT, Scopus AIAbstrakt
Celem artykułu jest porównanie odpowiedzi udzielanych przez narzędzia sztucznej inteligencji Scopus AI i Scholar GPT na przykładzie zapytań dotyczących wykorzystywania mediów społecznościowych w bibliotekach akademickich. Dzięki temu możliwe będzie określenie ich wstępnej przydatności dla badaczy oraz studentów prowadzących projekty badawcze bądź w nich uczestniczących. Metody badań: w artykule przeanalizowano teksty, bibliografie załącznikowe, mapy pojęć oraz listy ekspertów wygenerowane przez oba narzędzia. Teksty przebadano pod kątem podstawowych cech statystycznych, takich jak liczba słów czy zdań, ale także wskaźników, takich jak Flesch Reading Ease. Ponadto porównano je, posługując się podobieństwem kosinusowym. Opisy bibliograficzne przeanalizowano pod względem formalnym oraz zgodności zaproponowanych publikacji z zagadnieniami, których dotyczyło zapytanie. Następnie zbadano mapy pojęć pod kątem liczby uwzględnionych wyrażeń, ich formy, charakteru oraz struktury wizualizacji. Na końcu przyjrzano się spisom ekspertów dziedzinowych, zwracając uwagę na to, czy zaproponowani badacze rzeczywiście istnieją i jaki jest ich związek z zapytaniami. Wyniki i wnioski: odpowiedzi wygenerowane przez analizowane narzędzia charakteryzują się większą liczbą różnic niż podobieństw. Te pierwsze obejmują wartości podstawowych cech statystycznych, zestawy słów kluczowych, wskaźniki czytelności, bibliografie załącznikowe, mapy pojęć oraz listy ekspertów. Znaczna przewaga Scopus AI jest widoczna zwłaszcza w przypadku podstawy źródłowej i wykazów ekspertów. Scholar GPT proponuje za to mapy pojęć, które są bogatsze pod względem informacyjnym. Jedyne zaobserwowane podobieństwo dotyczyło zbieżności tekstów mierzonej z wykorzystaniem podobieństwa kosinusowego. Oryginalność: w dotychczasowej literaturze przedmiotu brakuje analiz porównujących narzędzia sztucznej inteligencji służące wspomaganiu nauki i pracy badawczej. Zgodnie z wiedzą autorów jest to pierwsze obszerniejsze porównanie tego rodzaju.
Bibliografia
Aguilera-Cora, E., Lopezosa, C., & Codina, L. (2024). Scopus Ai Beta: Functional Analysis and Cases. Barcelona: Universitat Pompeu Fabra, Departament de Comunicació. Retrieved from http://hdl.handle.net/10230/58658
Alkaissi, H., & McFarlane, S. I. (2023). Artificial Hallucinations in ChatGPT: Implications in Scientific Writing. Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179 DOI: https://doi.org/10.7759/cureus.35179
Almarie, B., Teixeira, P. E. P., Pacheco-Barrios, K., Rossetti, C. A., & Fregni, F. (2023). Editorial – The Use of Large Language Models in Science: Opportunities and Challenges. Principles and Practice of Clinical Research Journal, 9(1), 1–4. https://doi.org/10.21801/ppcrj.2023.91.1 DOI: https://doi.org/10.21801/ppcrj.2023.91.1
Asubiaro, T., Onaolapo, S., & Mills, D. (2024). Regional Disparities in Web of Science and Scopus Journal Coverage. Scientometrics, 129(3), 1469–1491. https://doi.org/10.1007/s11192-024-04948-x DOI: https://doi.org/10.1007/s11192-024-04948-x
Baas, J., Schotten, M., Plume, A., Côté, G., & Karimi, R. (2020). Scopus as a Curated, High-Quality Bibliometric Data Source for Academic Research in Quantitative Science Studies. Quantitative Science Studies, 1(1), 377–386. https://doi.org/10.1162/qss_a_00019 DOI: https://doi.org/10.1162/qss_a_00019
Birhane, A., Kasirzadeh, A., Leslie, D., & Wachter, S. (2023). Science in the Age of Large Language Models. Nature Reviews Physics, 5(5), 277–280. https://doi.org/10.1038/s42254-023-00581-4 DOI: https://doi.org/10.1038/s42254-023-00581-4
Campos, R., Mangaravite, V., Pasquali, A., Jorge, A. M., Nunes, C., & Jatowt, A. (2018). A Text Feature Based Automatic Keyword Extraction Method for Single Documents. In G. Pasi, B. Piwowarski, L. Azzopardi, & A. Hanbury (Eds.), Advances in Information Retrieval (pp. 684–691). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-76941-7_63 DOI: https://doi.org/10.1007/978-3-319-76941-7_63
Cheng, W. W. H., Lam, E. T. H., & Chiu, D. K. W. (2020). Social Media as a Platform in Academic Library Marketing: A Comparative Study. The Journal of Academic Librarianship, 46(5), 102188. https://doi.org/10.1016/j.acalib.2020.102188 DOI: https://doi.org/10.1016/j.acalib.2020.102188
Chi, D. T. P. (2022). Exploring Student Engagement on Library Facebook Pages: A Survey of Vietnamese Academic Libraries. Journal of Information Science Theory and Practice, 10(2), 17–29. https://doi.org/10.1633/JISTAP.2022.10.2.2
Cieślewicz, J., & Pelikant, A. (2009). Reprezentacja i wyszukiwanie dokumentów tekstowych w bazach danych. Studia Informatica, 30(2A), 259–271.
Cong-Lem, N., Soyoof, A., & Tsering, D. (2024). A Systematic Review of the Limitations and Associated Opportunities of ChatGPT. International Journal of Human–Computer Interaction, 1–16. https://doi.org/10.1080/10447318.2024.2344142 DOI: https://doi.org/10.1080/10447318.2024.2344142
Danler, M., Hackl, W. O., Neururer, S. B., & Pfeifer, B. (2024). Quality and Effectiveness of AI Tools for Students and Researchers for Scientific Literature Review and Analysis. In D. Hayn, B. Pfeifer, G. Schreier, & M. Baumgartner (Eds.), dHealth 2024: Proceedings of the 18th Health Informatics Meets Digital Health Conference (pp. 203–208). Amsterdam: IOS Press. https://doi.org/10.3233/SHTI240038 DOI: https://doi.org/10.3233/SHTI240038
Davis, C. A., Ciampaglia, G. L., Aiello, L. M., Chung, K., Conover, M. D., Ferrara, E., … Menczer, F. (2016). OsoMe: The IUNI Observatory on Social Media. PeerJ Computer Science, 2, e87. https://doi.org/10.7717/peerj-cs.87 DOI: https://doi.org/10.7717/peerj-cs.87
DeWilde, B. (2023). Textacy Documentation: Release 0.13.0. Retrieved 2 July 2024 from https://readthedocs.org/projects/textacy/downloads/pdf/latest/
Elsevier. (2024a). Scopus AI: Trusted Content: Powered by Responsible AI. Retrieved 11 June 2024 from https://www.elsevier.com/products/scopus/scopus-ai
Elsevier. (2024b). Scopus Content. Retrieved 2 July 2024 from https://www.elsevier.com/products/scopus/content
Flesch, R. (1948). A New Readability Yardstick. Journal of Applied Psychology, 32(3), 221–233. https://doi.org/10.1037/h0057532 DOI: https://doi.org/10.1037/h0057532
Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., … Wang, H. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv. https://doi.org/10.48550/ARXIV.2312.10997
Gehanno, J.-F., Rollin, L., & Darmoni, S. (2013). Is the Coverage of Google Scholar Enough to Be Used Alone for Systematic Reviews. BMC Medical Informatics and Decision Making, 13(1), 7. https://doi.org/10.1186/1472-6947-13-7 DOI: https://doi.org/10.1186/1472-6947-13-7
Harzing, A.-W. (2016). Do Google Scholar, Scopus and the Web of Science Speak Your Language? Retrieved 2 July 2024 from https://harzing.com/publications/white-papers/do-google-scholar-scopus-and-the-web-of-science-speak-your-language
Harzing, A.-W., & Alakangas, S. (2016). Google Scholar, Scopus and the Web of Science: A Longitudinal and Cross-Disciplinary Comparison. Scientometrics, 106(2), 787–804. https://doi.org/10.1007/s11192-015-1798-9 DOI: https://doi.org/10.1007/s11192-015-1798-9
Heaven, W. D. (2022, November 18). Why Meta’s Latest Large Language Model Survived Only Three Days Online. Retrieved from https://www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science
Hu, D. (2024). Scholar GPT | GPTs Review: Performance, Core Features, FAQs and Prompt Examples. Retrieved 2 July 2024 from https://www.featuredgpts.com/gpts/scholar-gpt
Hugging Face. (2024). Models. Retrieved 27 June 2024 from https://huggingface.co/models
Ihejirika, K. T., Goulding, A., & Calvert, P. J. (2021). Do They “Like” the Library? Undergraduate Students’ Awareness, Attitudes, and Inclination to Engage with Library Social Media. The Journal of Academic Librarianship, 47(6), 102451. https://doi.org/10.1016/j.acalib.2021.102451 DOI: https://doi.org/10.1016/j.acalib.2021.102451
Jiang, P., Rayan, J., Dow, S. P., & Xia, H. (2023). Graphologue: Exploring Large Language Model Responses with Interactive Diagrams. In S. Follmer, J. Han, J. Steimle, & N. H. Riche (Eds.), UIST ’23: Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (Article 3). New York: Association for Computing Machinery. https://doi.org/10.1145/3586183.3606737 DOI: https://doi.org/10.1145/3586183.3606737
Jitsaeng, K., Chansanam, W., Kanyacome, S., Detthamrong, U., & Li, C. (2024). Factors Influencing Social Media Platform Engagement among Thai Students: A Quantitative Study. Emerging Science Journal, 8(2), 539–556. https://doi.org/10.28991/ESJ-2024-08-02-011 DOI: https://doi.org/10.28991/ESJ-2024-08-02-011
Kılınç, D. D., & Mansız, D. (2024). Examination of the Reliability and Readability of Chatbot Generative Pretrained Transformer’s (ChatGPT) Responses to Questions About Orthodontics and the Evolution of These Responses in an Updated Version. American Journal of Orthodontics and Dentofacial Orthopedics, 165(5), 546–555. https://doi.org/10.1016/j.ajodo.2023.11.012 DOI: https://doi.org/10.1016/j.ajodo.2023.11.012
Kumar, R., & Kumar, D. J. (2024). Use Of Social Media For Marketing Of Library And Information Services In Academic Libraries. Educational Administration Theory and Practices, 30(2), 521–531. https://doi.org/10.53555/kuey.v30i2.1553 DOI: https://doi.org/10.53555/kuey.v30i2.1553
Májovský, M., Černý, M., Kasal, M., Komarc, M., & Netuka, D. (2023). Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened. Journal of Medical Internet Research, 25, e46924. https://doi.org/10.2196/46924 DOI: https://doi.org/10.2196/46924
Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. In D. Jurafsky, J. Chai, N. Schluter, & J. Tetreault (Eds.), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 1906–1919). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173 DOI: https://doi.org/10.18653/v1/2020.acl-main.173
McGowan, A., Gui, Y., Dobbs, M., Shuster, S., Cotter, M., Selloni, A., … Corcoran, C. M. (2023). ChatGPT and Bard Exhibit Spontaneous Citation Fabrication During Psychiatry Literature Search. Psychiatry Research, 326, 115334. https://doi.org/10.1016/j.psychres.2023.115334 DOI: https://doi.org/10.1016/j.psychres.2023.115334
Mensah, M., & Onyancha, O. B. (2021). A Social Media Strategy for Academic Libraries. The Journal of Academic Librarianship, 47(6), 102462. https://doi.org/10.1016/j.acalib.2021.102462 DOI: https://doi.org/10.1016/j.acalib.2021.102462
Moskatel, L. S., & Zhang, N. (2024). Comparative Prevalence and Characteristics of Fabricated Citations in Large Language Models in Headache Medicine. Headache: The Journal of Head and Face Pain, 64(1), 93–95. https://doi.org/10.1111/head.14638 DOI: https://doi.org/10.1111/head.14638
Ortega, J. L. (2014). Academic Search Engines: A Quantitative Outlook. Amsterdam: Chandos Publishing. DOI: https://doi.org/10.1533/9781780634722.143
Palamarchuk, D., Tang, X., Sathe, S., Abulikemu, R., & Wu, T. (2023, December 13). EduMap: Navigating a Learning Adventure. EdArXiv. https://doi.org/10.35542/osf.io/ez2bk DOI: https://doi.org/10.35542/osf.io/ez2bk
Pretrained Models. (2024). Retrieved 3 June 2024 from https://sbert.net/docs/sentence_transformer/pretrained_models.html
Raxwal, B., Baisla, P., & Nath, J. (2023). A Collaborative Case Report Utilizing ChatGPT AI Technology of Traumatic Right Coronary Artery Dissection Resulting in Inferior Wall ST-Elevation Myocardial Infarction. Cureus, 15(3), e35894, https://doi.org/10.7759/cureus.35894 DOI: https://doi.org/10.7759/cureus.35894
Ricci, F., Rokach, L., & Shapira, B. (2011). Introduction to Recommender Systems Handbook. In F. Ricci, L. Rokach, B. Shapira, & P. B. Kantor (Eds.), Recommender Systems Handbook (pp. 1–35). Boston, MA: Springer. https://doi.org/10.1007/978-0-387-85820-3_1 DOI: https://doi.org/10.1007/978-0-387-85820-3_1
Shuster, K., Poff, S., Chen, M., Kiela, D., & Weston, J. (2021). Retrieval Augmentation Reduces Hallucination in Conversation. arXiv. https://doi.org/10.48550/ARXIV.2104.07567 DOI: https://doi.org/10.18653/v1/2021.findings-emnlp.320
Taylor, R., Kardas, M., Cucurull, G., Scialom, T., Hartshorn, A., Saravia, E., … Stojnic, R. (2022). Galactica: A Large Language Model for Science. arXiv. https://doi.org/10.48550/ARXIV.2211.09085
Thelwall, M., & Sud, P. (2022). Scopus 1900–2020: Growth in Articles, Abstracts, Countries, Fields, and Journals. Quantitative Science Studies, 3(1), 37–50. https://doi.org/10.1162/qss_a_00177 DOI: https://doi.org/10.1162/qss_a_00177
Wang, Y., Peng, Q., Liu, H., Xu, H., Shao, M., & Wang, W. (2024). Deep Expertise and Interest Personalized Transformer for Expert Finding. Information Processing & Management, 61(5), 103773. https://doi.org/10.1016/j.ipm.2024.103773 DOI: https://doi.org/10.1016/j.ipm.2024.103773
Watanangura, P., Vanichrudee, S., Minteer, O., Sringamdee, T., Thanngam, N., & Siriborvornratanakul, T. (2023). A Comparative Survey of Text Summarization Techniques. SN Computer Science, 5(1), 47. https://doi.org/10.1007/s42979-023-02343-6 DOI: https://doi.org/10.1007/s42979-023-02343-6
What is RAG? – Retrieval-Augmented Generation AI Explained. (n.d.). Retrieved 15 July 2024 from https://aws.amazon.com/what-is/retrieval-augmented-generation/
Ye, H., Liu, T., Zhang, A., Hua, W., & Jia, W. (2023). Cognitive Mirage: A Review of Hallucinations in Large Language Models. arXiv. https://doi.org/10.48550/ARXIV.2309.06794
Pobrania
Opublikowane
Jak cytować
Numer
Dział
Licencja
Prawa autorskie (c) 2023 Bartłomiej Włodarczyk, Adam Jachimczyk
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Użycie niekomercyjne 4.0 Międzynarodowe.
Publikacje na łamach „Studiów Medioznawczych” ukazują się na zasadach odpowiadających licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne 4.0 Międzynarodowe (CC BY-NC 4.0).
