रिपोर्ट्स के मुताबिक मोहम्मद अजीज ने अपने सिंगिंग करियर की शुरुआत कोलकाता में गालिब नाम के एक रेस्टोरेंट से की थी. 1984 में वे मुंबई आए. इसी साल छोटी फिल्म "अंबार" से उनका फ़िल्मी करियर शुरू हुआ. इसके बाद अनु मलिक ने उन्हें बड़ा ब्रेक दिया. "मर्द तांगेवाला" उन्होंने अमिताभ बच्चन के लिए गाया. इस फिल्मके बाद मोहम्मद अजीज रातोरात सुपरस्टार बन गए.
इसके बाद अजीज ने अमिताभ के लिए कई फिल्मों में गाने गाए. अमिताभ के अलावा गोविंदा, अनिल कपूर, मिथुन चक्रवर्ती के लिए गाने गाए. कल्याणजी-आनंदजी, लक्ष्मीकांत-प्यारेलाल, आरडी बर्मन, नौशाद ओपी नैयर, बप्पी लाहिड़ी, रवींद्र जैन, अनु मलिक और आदेश श्रीवास्तव जैसे नामी म्यूजिशियन के साथ काम किया.
वैसे तो उन्होंने कभी भी सीधे तौर पर मोहम्मद रफी से संगीत नहीं सीखा. मगर हमेशा रफी साहब को अपना गुरु माना. रफी साहब के बारे में बात करते हुए उन्होंने एक इंटरव्यू में कहा था कि- ''जब मैं बच्चा था, वो दौर वो दौर संगीत जगत में मोहम्मद रफी, किशोर कुमार, मुकेश, हेमंत कुमार और मन्ना डे जैसे महान गायकों का था. जब मैंने सिंगिंग की शुरुआत की और रफी साहब को सुनना शुरू किया तो मैंने ये पाया कि वर्सेटाइल शब्द उन्हीं के लिए बना है. वे भजन, गजल, रोमांटिक गीत सभी कुछ बड़ी आसानी से गा लेते थे. वे एक वेराइटी थे जो बॉलीवुड के लिए परफेक्ट थे.''
रिपोर्ट्स के मुताबिक मोहम्मद अजीज ने विभिन्न भाषाओं में करीब 19,000 गाने गाए. मर्द तांगे वाला, लाल दुपट्टा मलमल का, मैं से मीना से न साकी से, ए मेरे दोस्त लौट के आ जा, प्यार हमारा अमर रहेगा, माई नेम इज लखन, ना फनकार तुझसा तेरे बाद आया जैसे गाने गाए. उन्होंने मर्द, बंजारन, आदमी खिलौना है, लव 86, पापी देवता, जुल्म को जला दूंगा, पत्थर के इंसान, बीवी हो तो ऐसी, बरसात की रात जैसी फिल्मों में गाने गाए.
27 नवंबर, 2018 को 64 साल की उम्र में हार्ट अटैक की वजह अजीज का निधन हुआ. जानकारी के मुताबिक घर लौटते वक्त एयरपोर्ट पर हार्ट में परेशानी हुई. ड्राइवर ने उन्हें नानावती अस्पताल पहुंचाया और सिंगर की बेटी को जानकारी दी. अस्पताल में डॉक्टरों सिंगर को मृत घोषित कर दिया गया. एक बड़ा फनकार हमारे बीच से चला गया.