Sensing, Perception & INtelligence (SPIN) Labसंवेदन, बोध एवं बुद्धिमत्ता (SPIN) लैब
We study how humans sense and perceive the world through sound, sight, touch and the body's own signals, and build AI that learns from these modalities and from language.हम अध्ययन करते हैं कि मनुष्य ध्वनि, दृष्टि, स्पर्श और शरीर के अपने संकेतों के ज़रिए दुनिया को कैसे महसूस करते और समझते हैं, और ऐसा एआई बनाते हैं जो इन माध्यमों और भाषा से सीखता है।
Mehta Family School of Data Science & AIमेहता फ़ैमिली स्कूल ऑफ़ डेटा साइंस एंड एआई IIT Guwahatiआईआईटी गुवाहाटी
Sensing. A real recording of “Welcome to SPIN Lab”, as the microphone hears it.संवेदन। “Welcome to SPIN Lab” की एक असली रिकॉर्डिंग, जैसी माइक्रोफ़ोन उसे सुनता है।
Perception. Keep only the moments where the signal turns (extrema sampling), then see its frequencies over time.बोध। केवल वे क्षण रखें जहाँ संकेत मुड़ता है (एक्स्ट्रीमा सैंपलिंग), फिर समय के साथ उसकी आवृत्तियाँ देखें।
Intelligence. Each 10 ms slice lands on a map by how its spectrum sounds, coloured by the word it came from.बुद्धिमत्ता। हर 10 मिलीसेकंड का अंश अपने स्पेक्ट्रम के आधार पर नक्शे पर जगह पाता है, और उसका रंग बताता है कि वह किस शब्द से आया है।
We start with sound; the same journey applies to images, video, text and body signals.हम ध्वनि से शुरू करते हैं; यही यात्रा चित्रों, वीडियो, पाठ और शरीर के संकेतों पर भी लागू होती है।
We are a research group exploring sensory interactions across modalities: speech and audio, images and video, text, and physiological signals such as breathing and EEG. We want to understand how humans perceive the world, and to build intelligence that is multimodal, grounded in signals, and humane. We converse in the language of signal processing and machine (deep) learning, and enrich our understanding using any scientific discipline the problem requires us to venture into.
हम एक शोध समूह हैं जो विभिन्न माध्यमों में संवेदी अंतःक्रियाओं का अध्ययन करता है: वाणी और ऑडियो, चित्र और वीडियो, पाठ (टेक्स्ट), तथा साँस और ईईजी जैसे शारीरिक संकेत। हम समझना चाहते हैं कि मनुष्य दुनिया को कैसे अनुभव करते हैं, और ऐसी बुद्धिमत्ता बनाना चाहते हैं जो बहु-माध्यमी (मल्टीमोडल) हो, संकेतों पर आधारित हो, और मानवीय हो। हम सिग्नल प्रोसेसिंग और मशीन (डीप) लर्निंग की भाषा में सोचते हैं, और समस्या हमें जिस भी वैज्ञानिक विषय में ले जाए, उसकी मदद से अपनी समझ को समृद्ध करते हैं।
What we doहम क्या करते हैं
Sensingसंवेदन
We are immersed in signals, and our eyes, ears, skin and nose turn them into data for the brain. Understanding how a continuous signal becomes a discrete sequence of samples in the sensory periphery can inspire efficient sampling strategies.
हम संकेतों से घिरे हैं, और हमारी आँखें, कान, त्वचा और नाक उन्हें मस्तिष्क के लिए डेटा में बदलती हैं। संवेदी तंत्र में एक सतत संकेत कैसे असतत नमूनों में बदलता है, यह समझना कुशल सैंपलिंग विधियों की प्रेरणा बन सकता है।
Perceptionबोध
The brain turns sensed signals into estimates such as loudness, pitch, timbre and location. Perception is a bit like feature extraction in machine learning, and predicting what humans perceive is a challenging (and rewarding) problem in AI.
मस्तिष्क संवेदित संकेतों से प्रबलता, तारत्व (पिच), ध्वनि-गुण (टिम्बर) और स्थान जैसे गुणों का अनुमान लगाता है। बोध कुछ हद तक मशीन लर्निंग में फ़ीचर निकालने जैसा है, और मनुष्य क्या अनुभव करेंगे इसका पूर्वानुमान लगाना एआई की एक चुनौतीपूर्ण (और रोचक) समस्या है।
Intelligenceबुद्धिमत्ता
Perceived attributes feed a mental model of the world: cognition, whose output is behavior. Understanding cognition is critical to designing machines that interact with humans.
अनुभव किए गए गुण दुनिया का एक मानसिक मॉडल बनाते हैं: यही संज्ञान है, जिसका परिणाम व्यवहार है। मनुष्यों से संवाद करने वाली मशीनें बनाने के लिए संज्ञान को समझना आवश्यक है।
Through our work, we aim to unify these three concepts and build solutions. Frankly, this is very interesting work, with lots of open questions.
अपने काम के ज़रिए हम इन तीनों अवधारणाओं को जोड़कर समाधान बनाना चाहते हैं। सच कहें तो यह बेहद रोचक काम है, जिसमें बहुत से अनसुलझे प्रश्न हैं।
Modalities we work withहम किन माध्यमों के साथ काम करते हैं
Research themesअनुसंधान के विषय
Modeling sensory signal processingसंवेदी संकेत प्रसंस्करण की मॉडलिंग
How sensory systems sample the world, and what that teaches us about sampling signals.संवेदी तंत्र दुनिया का सैंपल कैसे लेते हैं, और इससे हम संकेतों की सैंपलिंग के बारे में क्या सीखते हैं।
Spoken conversation analysisबोली गई बातचीत का विश्लेषण
Capturing speech, face, breath, heart and pupil signals to study how conversations unfold.बातचीत कैसे आगे बढ़ती है, यह समझने के लिए वाणी, चेहरे, साँस, हृदय और पुतली के संकेतों का अध्ययन।
Speech and language technology for Indian languagesभारतीय भाषाओं के लिए वाणी एवं भाषा प्रौद्योगिकी
Datasets and models for stuttered speech, vowel harmony and low-resourced languages of India.हकलाहट, स्वर-सामंजस्य और कम संसाधन वाली भारतीय भाषाओं के लिए डेटासेट और मॉडल।
Audio-based brain-computer interfacingऑडियो-आधारित ब्रेन-कंप्यूटर इंटरफ़ेस
Decoding which talker a listener attends to, from EEG.ईईजी से पता लगाना कि श्रोता किस वक्ता को ध्यान से सुन रहा है।
Audio cognition through behavioral experimentsव्यवहारिक प्रयोगों से श्रवण संज्ञान की समझ
What button presses and reaction times reveal about how we listen.बटन दबाने और प्रतिक्रिया-समय से हम कैसे सुनते हैं, इसका पता चलता है।
Data analysis for human healthcareमानव स्वास्थ्य के लिए डेटा विश्लेषण
Listening to breath, cough and speech for remote, low-cost disease screening.दूरस्थ, कम लागत वाली रोग-जाँच के लिए साँस, खाँसी और वाणी को सुनना।
Data analysis for climate sciencesजलवायु विज्ञान के लिए डेटा विश्लेषण
Using the soundscape of a forest to track its response to weather and climate.मौसम और जलवायु के प्रति जंगल की प्रतिक्रिया को उसकी ध्वनियों से समझना।
Explore our workहमारा काम देखें
Bahubhashi India ↗
India's spoken-language landscape, state by state. Census 2011 mother tongues drawn as a night sky of languages, scripts and real voices.राज्य-दर-राज्य भारत का भाषाई परिदृश्य। जनगणना 2011 की मातृभाषाएँ, भाषाओं, लिपियों और असली आवाज़ों के रात्रि-आकाश के रूप में।
Speech and Audio Processing ↗
An open course, from the physics of a sound to the models that understand it. Spectrograms, source–filter models, linear prediction and codecs, with live demos on Indian-English speech.एक खुला पाठ्यक्रम: ध्वनि की भौतिकी से लेकर उसे समझने वाले मॉडलों तक। स्पेक्ट्रोग्राम, स्रोत-फ़िल्टर मॉडल, लीनियर प्रेडिक्शन और कोडेक, भारतीय-अंग्रेज़ी वाणी पर लाइव डेमो के साथ।
IITG Campus uMap ↗
An unofficial map of IIT Guwahati's hills, lakes and the Brahmaputra, with walking routes, seasons, terrain, satellite greenness and a poster mode.आईआईटी गुवाहाटी की पहाड़ियों, झीलों और ब्रह्मपुत्र का एक अनौपचारिक नक्शा, जिसमें पैदल रास्ते, मौसम, भू-आकृति, उपग्रह से दिखती हरियाली और पोस्टर मोड हैं।
Image contains modified Copernicus Sentinel-2 data (monsoon 2022).
All interactive work and open datasets →सभी इंटरैक्टिव काम और खुले डेटासेट →
See also our publications. We are part of the Mehta Family School of Data Science and AI and the Centre for Linguistic Science and Technology.
हमारे प्रकाशन भी देखें। हम मेहता फ़ैमिली स्कूल ऑफ़ डेटा साइंस एंड एआई और भाषाई विज्ञान एवं प्रौद्योगिकी केंद्र (CLST) का हिस्सा हैं।
Your voice stays in your browser: nothing is recorded or sent.आपकी आवाज़ आपके ब्राउज़र में ही रहती है: कुछ भी रिकॉर्ड या भेजा नहीं जाता।
Say hey!नमस्ते कहिए!
Does this relate to your interests? Drop an email to Neeraj. We are happy to learn about the challenges you are tackling and discuss ways to collaborate. Students can join the team, and organisations can sponsor the lab.
क्या यह आपकी रुचि से मेल खाता है? नीरज को ईमेल भेजें। हम आपकी चुनौतियों के बारे में जानने और साथ काम करने के तरीकों पर बात करने को उत्सुक हैं। विद्यार्थी टीम से जुड़ सकते हैं, और संस्थाएँ लैब को प्रायोजित कर सकती हैं।
We are located at IIT Guwahati. Our campus is calm and vibrant, bio-diverse, and fondly known in India as (most!) heavenly (see Pictures).
हम आईआईटी गुवाहाटी में हैं। हमारा परिसर शांत और जीवंत है, जैव-विविधता से भरपूर है, और भारत में (सबसे!) स्वर्गिक परिसरों में गिना जाता है (तस्वीरें देखें)।
The Curious Case of Sound
A TEDx IIT Guwahati talk by Neeraj (Feb 2023).
नीरज की TEDx आईआईटी गुवाहाटी वार्ता (फ़रवरी 2023), अंग्रेज़ी में।
The team, October 2025हमारी टीम, अक्टूबर 2025 · Meet the team →टीम से मिलें →
Newsसमाचार
Neeraj is elevated to Senior Member of IEEE, and receives IIT Guwahati’s Young Faculty Excellence in Teaching Award.
Congratulations to Nishchay on two papers on conversational interaction: Breaking the Pair at SPCOM 2026, and Accommodation or Drift? at the NeurIPS 2026 LP4FM workshop!
Congratulations to Sneha on Towards a Phonology-Informed Evaluation of Multilingual TTS, to appear at Interspeech 2026!
Neeraj becomes Chairperson of the ISCA Indian Language Speech Processing group, and receives the Teaching Excellence Award for the BSc (Hons.) Data Science and AI online degree.
Congratulations to Aamir on acceptance of a paper titled - Advanced Wigner Distribution and Ambiguity Function in the Quadratic-phase Fourier Transform Domain: Mathematical Foundations and Practical Applications, in the Journal of Mathematical Analysis and Applications