'सर्वे में शामिल ना किए जाने से हम खफा हैं', मुस्लिम पक्ष ने लगाए आरोप